ООО "РостДжоб" — ведущая аутсорсинговая IT-компания, предоставляющая высококлассные решения для клиентов по всему миру. Мы специализируемся на разработке масштабных корпоративных приложений, веб-сервисов и мобильных решений, обеспечивая нашим партнерам надежность и инновационные технологии.
Задачи на проекте:
- Изучение и оценка структуры данных в источниках, а также существующих сценариев их обработки;
- Проектирование эффективных моделей хранения информации в ClickHouse, с учётом специфики исходных данных и потребностей отчётности;
- Разработка и реализация процессов ETL/ELT для переноса, преобразования и консолидации данных;
- Создание и оптимизация запросов для выборки и агрегирования информации в СУБД;
- Настройка и сопровождение сценариев автоматического выполнения процессов обработки данных;
- Внедрение механизмов частичной загрузки для уменьшения нагрузки на исходные системы;
- Контроль стабильности выполнения процессов, анализ ошибок и проверка корректности переданных данных.
Обязательные требования:
- Уверенное понимание принципов построения хранилищ данных и методик моделирования (звёздная и снежинка схема, Data Vault и др.);
- Сильные навыки работы с SQL: создание сложных запросов с оконными функциями, CTE, множественными соединениями и оптимизация их производительности;
- Опыт применения систем управления потоками данных (например, Apache Airflow);
- Участие в проектировании и поддержке сложных сценариев автоматизации процессов обработки данных;
- Знание ключевых элементов экосистемы Airflow (операторы, хуки, сенсоры, XCom и пр.);
- Практика настройки расписаний, обработки ошибок и повышения устойчивости ETL-процессов;
- Владение Python на уровне, позволяющем решать прикладные задачи внутри оркестратора;
- Опыт работы с системами контроля версий, уверенное владение Git и использование GitFlow-подхода;
- Навыки взаимодействия с бизнес-заказчиками и трансформации их требований в технические решения.
Если вы готовы присоединиться к нашей команде и развиваться вместе с ООО "РостДжоб", отправляйте свое резюме.
Ждем вас!