Вместе с нами ты будешь:
- Участие в проектах связанных с хранением, обработкой и анализом данных в роли разработчика;
- Разработка приложения для построения витрин данных с использование фреймворка Apache Spark;
- Оптимизация и доработка текущих приложений написанных на Apache Spark;
- Взаимодействие с заказчиками и аналитиками в процессе проектирования и реализации задач;
- Разработка пайплайнов загрузки данных в Airflow.
Какие знания и навыки для нас важны:
- Высшее образование (Техническое/ИТ);
- Опыт работы с одной из указанных СУБД: Oracle/Postgres/DB2/Arenadata DB/GreenPlum;
- Опыт разработки витрин данных DWH с использованием Apache Spark (обязательно);
- Понимание принципов распределенной обработки данных (опыт работы с кластером hadoop приветствуется);
- Опыт разработки с использованием инструментария экосистемы BigData (Hadoop, Spark/Spark SQL, Airflow);
- Обязателен опыт разработки на одном из языков: Scala(предпочтительнее), Java, Python;
- Уверенное знание алгоритмов, структур данных и SQL;
- Знания Kafka приветствуется;
- Понимание подходов к организации разработки (CI/CD, DEVops) приветствуется.