Мы в поиске разработчика hadoop (Scala) на крупный банковский проект. Цель проекта: развитие хранилища данных в исходном виде. Мы занимаемся подключением систем-источников к хранилищу и загрузкой данных в Озеро для дальнейшей трансформации и аналитики.
Твои задачи:
- Разрабатывать ETL для подключения источников к Озеру данных
- Разрабатывать DAG-и для загрузки данных из источников (в том числе из Kafka) в “Озеро данных” с помощью Apache Airflow
- Поддерживать и сопровождение существующих загрузок
- Разрабатывать и внедрять новый функционал в общий проект
Что мы ждем от тебя:
- Отличное знание SQL (джоины, агрегатные и оконные функции)
- Большой опыт работы на Scala
- Опыт работы с Airflow, знание Python
- Знание экосистемы Hadoop
Будет плюсом:
- Опыт работы с Kafka
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Технику для комфортной работы
- Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
- Сообщества по интересам: Лига Спорта, Лига Экспертов, Cyber Лига , а также возможность организовать свое сообщество и получить поддержку от компании
- Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды