Data Engineer

Проект : разработка корпоративного хранилища данных для РЖД

Стек технологий, который используется на проекте :

• Greenplum
• экосистема Hadoop
• apache Kafka
• apache Airflow
• Фреймворк DBT
• S3 (Simple Storage Service)

Обязанности:

• Реализация различных видов разработок программного обеспечения в соответствии с техническим заданием;
• Написание рабочей документации к разработкам;
• Отладка ПО средствами среды программирования (трассировка и т.п.);
• Решение проблем, возникших в ходе работы ПО, доработка ПО, в том числе чужого кода;
• Участие в подготовке программы и методики испытаний;
• Проведение функционального тестирования ПО;
• Знание ландшафта системы и понимание взаимосвязи между модулями системы;
• Анализ производительности ПО;
• Оптимизация ПО;
• Реализация интеграции с другими системами и интерфейсами;

• Опыт разработки и внедрения хранилищ данных;
• Опыт проектирования БД;
• Опыт использования систем версионного контроля;
• Знание ландшафта используемых платформ и понимание взаимосвязи между модулями;
• Знание и умение применять на практике шаблоны проектирования программных продуктов;
• Опыт проектирования интеграционных решений;
• Знание основных принципов построение хранилищ данных и моделирования данных;
• Знание ETL процессов и ETL инструментов;
• Знание методологий проектирования хранилищ данных (Inmon, Kimball, Data Vault);
• Знание концепции нормализации данных;
• Программирование на SQL;
• Разработка на фреймворке DBT;
• Разработка на apache Kafka;
• Разработка на apache Airflow;

• Работу в крупной стабильной компании;
• Заботу о здоровье. Оформим полис ДМС со стоматологией. Скидки на ДМС для родственников;
• Белую стабильную заработную плату, официальное оформление с первого дня работы в компании;
• Годовую премию;
• Индексацию заработной платы;
• Участие в самых интересных и масштабных проектах в отрасли;
• Мы являемся аккредитованной в Минцифры ИТ Компанией.