Data engineer Senior

LIAN — IT компания, предоставляющая услуги по дата инженерии, разработке аналитических систем и бизнес-приложений, основанных на искусственном интеллекте.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в среднем и крупном бизнесе.

Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем.

Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации.

Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов.

Уважаемые соискатели, оформление происходит по ИП , либо по СЗ (просим обратить внимание). Проект в формате аутстафф.

Обязанности:

• Настройка dbt: с нуля развернуть систему или на экспертном уровне ее доработать
• Настройка интеграций с источниками данных
• Организация и поддержка работы каталога данных
• Поддержка и помощь в работе с хранилищем данных
• Взаимодействие с командами разработки и аналитики

• Опыт работы: от 5 лет коммерческого опыта в компаниях с развитой культурой работы с данными
  Идеальный кандидат имеет понимание фондового рынка и развирается в инструментах для инвестирования, но это не самоцель.
• Опыт работы с Apache Airflow в корпоративной среде:
  o Настройка и управление пайплайнами данных.
  o Опыт разработки DAG на Python для автоматизации ETL процессов.
  o Оптимизация и мониторинг выполнения DAG-ов.
• Опыт самостоятельной разработка ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
• Понимание принципов и опыт работы с каталогами данных
• Навыки работы с DBT (Data Build Tool):
  o Разработка и поддержка моделей данных с использованием DBT.
  o Интеграция DBT в пайплайны данных для трансформации данных.
  o Понимание процессов версионирования моделей данных.
• Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming)
  o Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
• Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
• Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
• Опыт работы с облачными платформами (Yandex.Cloud)
• Навыки работы с системами контроля версий (Git)
  o Настройка CI/CD для дата-процессов (желательно)

• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста
• Полностью удаленная работа на полный рабочий день
• Гибкая форма трудоустройства: работа с ИП или в статусе самозанятого