Газпром нефть

Data Engineer (Senior)

Не указана
  • Санкт-Петербург
  • Полная занятость
  • Удаленная работа
  • От 3 до 6 лет
  • SQL
  • PostgreSQL
  • Python
  • Hadoop

Мы – команда «Газпромнефть – Цифровые решения», часть ИТ-функции «Газпром нефти». Команда, которая научила нейросети находить нефть, запустила первую в мире цифровую систему управления арктической логистикой и первой в мире заправила самолет по блокчейн. Мы переводим в «цифру» каждый этап работы современного нефтяника: от геологической разведки и бурения скважин до процесса переработки нефти и момента, когда она в виде топлива попадает в баки автомобиля, самолета или, например, становится битумом для строительства дорог. Активы «Газпром нефти» – это сотни петабайт данных, которые генерируют объекты компании в России и за рубежом. Нас вдохновляет идея развития цифрового будущего нефтегазовой отрасли и промышленности в целом.

Проект разработки корпоративного хранилища данных реализуется на стеке: MPP Greenplum, ETL платформы Informatica PowerCenter, Airflow, Apache NiFi и других инструментах. Работа в команде, выполняющей внедрение стратегии, процессов и инструментария управления корпоративными данными (Data Governance). Нам нужен разработчик.

Обязанности:​​​​​​​

  • Управление жизненным циклом хранилища данных: от проектирования до эксплуатации.
  • Разработка и оптимизация ETL/ELT-процессов (Informatica, NiFi, Airflow).
  • Контроль качества данных, мониторинг производительности DWH.
  • Интеграция данных из разнородных источников (CRM, ERP, API, файлы, очереди).
  • Внедрение и поддержка методологии Data Vault 2.0.
  • Координация работы с DevOps (развертывание, CI/CD для DWH).
  • Участие в пресейле технических решений для заказчиков.

Требования:

  • Опыт работы с Greenplum (или аналогичными MPP-системами) — 3+ года.
  • Глубокие знания SQL, оптимизации запросов, работы планировщика.
  • Понимание Apache Airflow (написание DAG, сенсоры, hooks).
  • Опыт работы с Informatica PowerCenter или аналогами (SSIS, Talend).
  • Знание Data Vault 2.0 (практический опыт внедрения).
  • Базовые навыки Python / Java / Scala для скриптинга и интеграций.
  • Умение работать в Agile (Scrum, Kanban).
  • Английский язык (уровень Intermediate+, чтение технической документации).

Будет плюсом

  • Сертификации: Data Vault 2.0, Informatica, Greenplum.
  • Опыт работы с облачными DWH (Snowflake, BigQuery, Redshift).
  • Знание dbt (Data Build Tool).
  • Опыт настройки Kubernetes для Airflow/NiFi.

Технические знания:

  • Greenplum: администрирование, оптимизация запросов, партиционирование, работа с распределенными данными.
  • Интеграция данных:
  • ETL-инструменты (Informatica PowerCenter, Apache NiFi).
  • Оркестрация (Apache Airflow).
  • API (REST, SOAP), JDBC/ODBC, очереди (Kafka, RabbitMQ).
  • Моделирование данных:
  • Data Vault 2.0 (хабы, сателлиты, линки), Dimensional Modeling (звезда, снежинка).
  • Алгоритмы и структуры данных: понимание хеширования, индексов, партиционирования, алгоритмов сортировки и соединения.
  • Обработка потоковых данных: понимание работы Kafka Connect, RabbitMQ, потоковой трансформации. Архитектурные навыки:
  • Понимание принципов работы MPP-систем (Greenplum) и колоночных СУБД.
  • Понимание архитектуры Data Lake / Data Mesh. ​​​​​​​​​​​​​​

Мы предлагаем:

  • Достойную твоего профессионального уровня заработную плату (уровень вознаграждения обсуждается индивидуально по результатам интервью)
  • Годовую премию по результатам деятельности, дополнительную материальную мотивацию (премии от руководителя)
  • Трудоустройство в аккредитованную ИТ компанию
  • Качественную программу ДМС со стоматологией с первого месяца работы
  • Современный офис, возможность гибридного формата работы
  • Неограниченный доступ к образовательному контенту на портале знаний от корпоративного университета
  • Подписка на лучшие электронные библиотеки с подборками IT-литературы (и не только)
  • Собственный центр профессионального развития, в котором проводятся комплексные программы обучения hard skills
  • Внутренние демодни, коуч-дни, питчи – то, что поможет продвигать и совершенствовать проекты и собственные идеи
  • Корпоративные скидки для изучения английского языка в малых группах онлайн и офлайн
  • Регулярные карьерные марафоны, индивидуальные карьерные консультации и планы развития
  • Общение вне рабочих рамок – независимо от того, в каком городе ты работаешь! От участия в корпоративных спортивных сообществах до онлайн-экскурсий и неформальных встреч в формате Random coffee

В «Газпром нефть» ты можешь:

  • Получить уникальный профессиональный опыт
  • Создавать смелые проекты с нуля и наблюдать за их влиянием на целую отрасль
  • Быть вместе с теми, кого вдохновляют сверхсложные задачи
  • Сочетать несколько ролей, быть частью нескольких команд или участвовать в кросс-функциональных командах
  • Использовать возможности компании-лидера для своей самореализации и убедиться, что любой профессиональный опыт важен
  • Быть среди тех, кто создает первую в России цифровую платформу для управления промышленной компанией нового поколения