Команда проекта занимается разработкой платформы для работы с данными. DataOps Platform — возможность продуктовых команд самостоятельно работать с данными, не требуя при этом привлечения полноценной команды разработчиков. Это способствует ускорению процессов, экономии средств и инновационному развитию продуктовой линейки.
Мы в поисках Data Engineer, желающего получить уникальный опыт и стать частью дружного коллектива.
Твои задачи:
- Разрабатывать ETL-процессы на базе прототипов и технических требований;
- Изменять существующие ETL-процессы в соответствии с меняющимися бизнес-требованиями;
- Продуктивизировать код, проводить DQ-проверки, устанавливать регламенты и контролировать работу ETL-процессов;
- Оптимизировать и рефакторить код на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);
- Взаимодействовать с системными аналитиками, инженерами данных, второй линией поддержки, DevOps и другими смежными подразделениями;
- Оперативно решать инциденты на уровне третьей линии поддержки;
- Работать с централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum), а также с PostgreSQL, Teradata, Clickhouse и другими БД.
Мы ждем от тебя:
- Хорошие навыки SQL
- Опыт работы с Python
- Знания технологии Hadoop, HIVE
- Владения навыками работы с HDFS
- Опыт работы с Spark
- Опыт работы с Airflow
- Умения рабоатать с Linux CLI
- Знание работы Greenplum или другой MPP-Database
- Понимание работы с YAML-нотации
Что мы обеспечим:
- Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
- Безграничная прокачка скиллов
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Новая техника для комфортной работы
- Корпоративная культура с своими ценностями и традициями
- Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи