Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу: мы обеспечиваем доставку данных в единое хранилище и поддерживаем инструменты для их обработки и презентации.
В компании много самодостаточных команд, в каждой — свои сервисы, разработчики и аналитики. Поэтому у нас формируется множество потоков данных самого разного формата и объёма: от данных о бронированиях, на которые смотрит вся компания и где каждая запись проверяется почти вручную, до данных о билетах объёмом более терабайта в сутки. Это требует от нас разных подходов к обработке.
-
наша платформа построена по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.
-
тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и развёртыванием баз данных занимается отдельная команда — это не входит в нашу зону ответственности.
В нашу дружную команду нужен еще один дата инженер, который будет сфокусирован на задачах поддержки одной из аналитических команд.
Что нужно будет делать:
-
активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время;
-
проводить код-ревью аналитиков;
-
оптимизировать текущие процессы обработки данных;
-
участвовать в разработке аналитической A/B-платформы;
-
модернизировать текущую дата платформу и внедрять новые практики вместе с Core командой дата-инженеров.
Что мы ждем от тебя:
-
опыт работы инженером данных в продуктовой ИТ-компании от трех лет;
-
знание языков программирования: Python и SQL (обязательно), опыт работы с другими языками будет плюсом;
-
понимание принципов ETL/ELT-процессов и работы распределенных вычислений;
-
опыт работы в нашем стеке (Apache Spark, Apache Airflow, DBT, Trino) будет плюсом;
-
самостоятельность и ответственность, умение выстраивать коммуникацию с разными командами и людьми;
-
желание развиваться и улучшать процессы вокруг себя.
Как мы работаем:
-
в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
-
без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
-
компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
-
на райском острове: можно работать на Пхукете с видом на океан.