Data Engineer

Задачи:

• Проектировать и собирать витрины данных по разработанному ТЗ;
• Проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake;
• Писать документацию;
• Проводить кросс-ревью кода;
• Работать с data-аналитиками для создания новых и оптимизации существующих витрин.

Требования:

• Опыт на позиции Data Engineer от 1,5 лет;
• Опыт оптимизации производительности запросов (партиционирование, индексы, кеширование);
• Понимание основных операций СУБД и принципов DWH;
• Опыт работы с Hadoop технологиями (Spark, Hive и тд);
• Опыт работы с Azure/Yandex облачными платформами;
• Опыт разработки и поддержки DAGs в Apache Airflow;
• Уверенное владение SQL, Python, pySpark.

Будет плюсом:

• Опыт работы с базами данных PostgreSQL и ClickHouse;
• Опыт работы с Trino;
• Опыт работы с инструментами обеспечения качества данных (Great Expectations).

Условия:

• Трудоустройство по ТК РФ в IT-аккредитованную компанию;
• График работы с 9 до 18 по Москве;
• Удаленный формат работы или офис в Москве;
• ДМС.