HeadHunter

Data engineer (senior)

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • От 3 до 6 лет
  • SQL
  • DWH
  • Apache Airflow

Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать наше Data-направление.

Стек:

Apache Hadoop, Hive metastore, Spark, Flink, Kafka, Airflow, Trino

Инструменты:

Hue, Jupiter, Zeppelin, QueryBook, Jenkins, Forgejio, Jira

Задачи:

  • Проектирование и реализация архитектуры хранения и обработки данных
  • Оптимизация производительности и обеспечение надежности работы хранилища и процессов обработки данных
  • Разработка и реализация новых инструментов

Необходимые знания и компетенции:

  • Опыт построения ETL/ELT процедур
  • Опыт работы с CDC, Apache Iceberg, DBT (как преимущество)
  • Знание базовых алгоритмов и структур данных
  • Понимание паттернов проектирования архитектуры хранилищ данных (Data Mesh, Data Fabric, Data Federation, DWH, LakeHouse)
  • Понимание ООП, SOLID, unittests
  • Уверенное знание Python
  • Знание Java и опыт написания Flink Job (как преимущество)
  • Продвинутый SQL
  • Практический опыт работы с Spark, Airflow, Kafka
  • Знание механизмов деплоя Airflow (Celery, k8s)
  • Опыт работы c k8s

Мы предлагаем:

  • Гибкое начало рабочего дня с 9 до 11.
  • Можно работать удалённо из любой точки мира или посещать московский или региональные офисы.
  • Современный технологический стек.
  • Возможность повлиять на выстраивание процессов.

  • Сможешь поучаствовать в проекте формирования семантического слоя данных.

  • ДМС со стоматологией с первого дня оформления.

  • 4 day-off в году.

  • Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта.
  • Промокоды и бонусы от партнеров.
  • Электронная корпоративная библиотека.
  • Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
  • Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.