Привет! Меня зовут Дмитрий, я возглавляю команду Data Engineering. С ростом количества пользователей увеличивается и нагрузка на сервис, поэтому мы ищем опытного специалиста, который будет принимать участие в проектах по развитию дата платформы.
У нас:
- более 500Gb cырых Clickstream данных в сутки
- более 500Gb сырых Operational Data в сутки
- более 500 витрин данных
- более 10 видов источников данных
Позиция предполагает высокую степень автономности и самостоятельности, но и вместе с тем плотное взаимодействие с коллегами, аналитиками, ML-engineer’ами и разработчиками.
Задачи
- Сопровождение и разработка Airflow DAGs
- Оптимизация/разработка SQL запросов для витрин данных
- Сопровождение и развитие инфраструктуры дата платформы
- Разработка dbt моделей. Портирование существующих витрин на dbt модели.
- Проектирование, разработка и тестирование ETL/ELT процессов
- Проведение Proof of concept с дальнейшей презентацией и внедрением в продакшен
- Участвовать в принятии архитектурных решений для дата платформы
- Описание технических частей итоговой работы в документации
- Опыт работы инженером данных от 4-5 лет
- Уверенно владеете Python на уровне написания Airflow DAG’ов.
- Уверенно владеет SQL на уровне оптимизации запросов. Умеете читать планы запросов и предлагать варианты по улучшению производительности запросов.
- Имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов
- Имеете опыт работы с dbt
- Знаете, что такое MPP(Massive Parallel Processing) СУБД, и имели опыт работы с подобными(Redshift, Greenplum, Vertica)
- Уверенный Linux пользователь
- Умение четко формулировать технические спецификации и отстаивать техническую позицию
- Умеете выбирать технологии для решения конкретных задач
Будет плюсом:
- Опыт работы с облачной инфраструктурой AWS для построение дата платформы
- Если есть опыт работы в области построения архитектуры Lakehouse с использованием Parquet, AWS Athena и других технологий AWS
- Если вы работали с системами мониторинга(Prometheus + Grafana, Zabbix)
- Если вы работали с СУБД Postgres, Clickhouse
- Если вы работали с Apache NiFi
- Если вы собирали и сопровождали контейнеры Docker
Мы готовы предложить вам:
-
Работа с первым по популярности продуктом в своей отрасли
-
Оформление по ТК Грузии, конкурентную заработную плату
-
Гибкий график, адаптивное рабочее место и пространство для отдыха
-
ДМС, а также 100% компенсацию больничного листа
-
Компенсацию питания и неограниченное количество снеков круглосуточно
-
Компенсацию изучения английского языка, конференции и курсы под спонсорством компании
-
Тимбилдинги и корпоративные мероприятия.
-
Поддержка от HR-партнера, который поможет адаптироваться и решить любые вопросы.
Мы не рассматриваем удаленный формат сотрудничества.