Morizo

Python Data Engineer (ClickHouse)

Не указана
  • Москва
  • Полная занятость
  • Полный день
  • От 3 до 6 лет
  • Clickhouse
  • SQL
  • Python

Моризо — аккредитованная ИТ-компания. Мы разработчик цифровых сервисов и услуг со специализацией в финансах, e-commerce и крупных внедрениях.

Уже более 20 лет мы растём и развиваемся вместе с ведущими федеральными и международными брендами — среди наших клиентов Сбер, МТС, Ак Барс Банк, Абсолют Страхование, Synergetic, Huawei Honor Cup, Aeroflot, World Class, ХК ЦСКА и другие.

На нашем счету — более 250 реализованных проектов. По итогам «Рейтинга Рунета» мы в числе лидеров по разработке финтех-сервисов и мобильных решений для спорта и здоровья.

Мы приглашаем в нашу команду опытного Python Data Engineer (ClickHouse) для работы над крупным проектом в банковской сфере.

Задачи в работе:

  • Анализ существующих моделей данных источников, ETL процессов в GreenPlum
  • Проектирование оптимальных схем хранения данных в ClickHouse, исходя из структуры источников и требований BI – инструментов

  • Проектирование и реализация процессов ETL/ELT для переноса и трансформации данных

  • Написание оптимизированных SQL запросов для эффективного извлечения и предварительной агрегации данных из GreenPlum

  • Разработка, настройка и поддержка DAG-ов в AirFlow для оркестрации всего пайплайна данных

  • Реализация механизмов инкрементальной загрузки данных для минимизации нагрузки на источник

  • Мониторинг выполнения пайплайнов, трассировка ошибок, проверка целостности и согласованности данных между источником и приемником

Мы ожидаем от кандидата:

  • Глубокое знание принципов построения и проектирования DWH, знание подходов к моделированию данных (Звезда, Снежинка, DataVault)
  • Продвинутые навыки SQL, включая написание сложных запросов (оконные функции, CTE, сложные JOINs, агрегации) и оптимизацию запросов
  • Практический опыт работы с инструментом управления потоками данных Apache Airflow
  • Опыт проектирования, разработки и поддержки сложных DAG
  • Знание концепции операторов, хуков, сенсоров, Xcom
  • Настройка расписания, обработки ошибок и обеспечения отказоустойчивости ETL сценария
  • Владение Python на уровне, достаточном для реализации задач в Airflow
  • Продвинутое владение Git, обязательный опыт работы по GitFlow
  • Умение работать с бизнес требованиями

Мы предлагаем:

  • Гибкое начало рабочего дня, офисный формат (возможность работать в современном бизнес-центре по адресу Кутузовский проспект, 32)
  • Официальное трудоустройство в аккредитованную ИТ-компанию в соответствии с ТК РФ
  • Конкурентный уровень заработной платы
  • Обучение, кураторство и поддержка коллег: как на начальном этапе, так и в дальнейшем
  • Корпоративное обучение: профильные курсы и обучение английскому языку
  • Забота о сотрудниках: корпоративные мероприятия, штатный психолог, программа развития внутренних стартапов

Присоединяйтесь к нашей команде, чтобы вместе создавать будущее цифровых технологий!​​​​​​​