Обязанности:
- Разработка решений по извлечению, трансформации и загрузке данных (ETL/ELT) из различных источников;
- Построение real-time/near-real-time/batch пайплайнов;
- Создание витрин данных;
- Написание SQL-тестов, оптимизация запросов;
- Разработка инструментов контроля качества и консистентности данных;
- Разработка и внедрение решений для анализа больших данных.
Технологический стек:
- СУБД: ClickHouse, PostgreSQL, Neo4j, Tarantool, Redis;
- Backend: Go, Node.js, Python;
- Frontend: React;
- Брокер сообщений: Kafka;
- Объектные хранилища S3;
- Контейнеризация: Kubernetes, Docker;
- DevOps: GitLab, ArgoCD, Nexus;
- ETL/ELT: Airflow, dbt, ClickHouse, Kafka Connect, Apache Iceberg, Apache Spark.
Требования:
- Хорошие знания Python;
- Опыт разработки решений для обработки данных с применением оркестраторов (Airflow/Luigi/Dagster);
- Опыт работы с Kafka, Kafka Connect, Flink, Docker, Spark;
- Хорошие знания SQL, опыт работы с аналитическими СУБД (ClickHouse/Druid/Vertica) и транзакционными (PostgreSQL/MSSQL);
- Навыки оптимизации запросов и анализа планов выполнения;
- Опыт управления трансформациями данных с использованием dbt/SQLMesh;
- Понимание процессов ETL/ELT и практический опыт их применения;
- Знание принципов и опыт работы с DWH/Data Lake/LakeHouse.
Условия:
- Оформление в штат в соответствии с ТК РФ;
- Конкурентоспособная заработная плата (обсуждается по результатам собеседования);
- Соц.пакет: программа ДМС со стоматологией, корпоративная мобильная связь, санаторно – курортное лечение;
- Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций;
- Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности;
- Корпоративная электронная библиотека;
- Место работы: Удаленно.