Data engineer

MAXBITSOLUTION - IT-компания, создающая проекты в сфере iGaming. Мы разрабатываем высоконагруженные системы с использованием Vue/Nuxt, React, Ruby on Rails, Python, PHP,и Go, а также управляем трафикообразованием и лидогенерацией.

Вакансия предусматривает обязательное выполнение тестового задания!

Обязанности:

• проектирование, разработка и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow;
• настройка агрегаций данных для аналитических и ML-задач;
• интеграция и оптимизация процессов работы с базами данных Clickhouse и PostgreSQL;
• обеспечение консистентности, целостности и качества данных на всех этапах обработки (валидация, очистка, мониторинг аномалий);
• разработка и поддержка инфраструктуры данных для обеспечения надежности и масштабируемости;
• участие в подготовке данных для анализа и обучения моделей совместно с аналитиками и ML/DS-командами;
• настройка мониторинга и системы оповещения для пайплайнов данных;
• разработка, изменение и сопровождение витрин данных;
• оптимизация запросов и процессов обработки данных для повышения производительности.

Требования:

• опыт работы в роли data engineer от 2 лет;
• понимание процессов ETL/ELT и опыт их реализации;
• умение писать сложные SQL-запросы и оптимизировать их;
• глубокие знания и опыт работы с Apache Airflow;
• опыт работы с колоночными и реляционными базами данных;
• знание Python и опыт написания на нем скриптов для обработки данных;
• навыки работы с системами контроля версий (Git).

Будет плюсом:

• знания технологий оркестровки и поставки данных (например, Kafka, ActiveMQ);
• опыт работы с не реляционными базами данных;
• знание инструментов для работы с большими данными (Spark, Hadoop);
• опыт поддержки ML/DS-команд и понимание их потребностей в данных;
• знание контейнеризации (Docker, Kubernetes).

Условия:

• график работы: 5/2 Пн – Пт с 10:00 до 19:00, работа в офисе в Минске. Возможно обсуждение гибридного формата по результатам испытательного срока;
• комфортное рабочее место в современном офисе с террасой в центральной части города;
• оборудованную кухню с кофе, орехами, свежими фруктами и прочими вкусняшками;
• курсы английского языка;
• 3 sick days;
• компенсация спорта после испытательного срока (золотой абонемент Allsports);
• интересные корпоративные мероприятия.

*Вакансия на перспективу.