
Клиенты Из интернеТа
Data Engineer
- Python
- Linux
- SQL
- NoSQL
- Big Data
- Apache Kafka
- ETL
- pandas
- PostgreSQL
- Apache Airflow
Мы крупная PropTech -компания, которая развивает портфель сервисных проектов на рынках ОАЭ, Турции, Испании, Таиланда, США, Кипра, Бали, Вьетнама и других зарубежных направлений.
В настоящее время в связи с расширением мы в поиске Data-инженера.
Задача - разработать и создать с нуля всю инфраструктуру, а именно:
- извлечения данных оптимальным способом;
- подготовки данных, их очистки и обогащения;
- доставки данных потребителю в удобном формате;
- хранения данных: выбор подходящего способа хранения, оптимальной структуры, сжатия, секционирования и глубины;
- развертывания и поддержки инфраструктуры, мониторинга ее состояния.
Какие навыки нужны:
Computer science
- Знания базовых алгоритмов, умение пользоваться основными структурами данных и оценивать сложность алгоритмов
- ООП, паттерны проектирования, понимание как работают распределенные системы.
Работа с данными
- SQL и разные диалекты — Postgres/Greenplum, Oracle, Clickhouse, Hive;
- устройство реляционных баз данных;
- разновидности NoSQL-решений — когда и зачем их выбирать и как готовить;
- технологии BigData (Hadoop-стек);
- брокеры сообщений (Kafka).
Основы хранилищ данных
- теория построения хранилищ данных, слои и архитектурные подходы;
- моделирование и нормализация данных;
- ETL, способы организации конвейеров и их оптимизации;
- навыки работы с ETL-инструментами и инструментами управления конвейерами обработки данных, такими как Apache Airflow или Apache NiFi или Apache Flink.
Инженерные навыки
- Linux на уровне опытного пользователя;
- навыки работы с Git;
- понимание, что такое CI/CD и зачем оно вообще нужно;
- навыки обращения с docker-контейнерами;
- умение работать с k8s- и cloud-решениями.
Стэк
- Python (def, pandas), SQL
- Airflow
- Git
- Hadoop, Postgres (window, index, performance), столбчатые БД.
- Создание и поддержание моделей данных (dbt)
- ETL/ELT
Мы предлагаем:
— Полностью удаленная работа из любой точки мира, 8-часовой рабочий день, 40-часовую рабочую неделя.
— Зарплатные ожидания готовы обсуждать после собеседования
— Работу в современной, технологичной IT-компании в команде экспертов и единомышленников
— Высококлассный IT/digital-продукт – актуальный, пользующийся спросом, с высоким потенциалом роста
— Возможность самореализации и личностного и профессионального развития