Клиенты Из интернеТа

Data Engineer

Не указана
  • Санкт-Петербург
  • Полная занятость
  • Удаленная работа
  • От 1 года до 3 лет
  • Python
  • Linux
  • SQL
  • NoSQL
  • Big Data
  • Apache Kafka
  • ETL
  • pandas
  • PostgreSQL
  • Apache Airflow

Мы крупная PropTech -компания, которая развивает портфель сервисных проектов на рынках ОАЭ, Турции, Испании, Таиланда, США, Кипра, Бали, Вьетнама и других зарубежных направлений.

В настоящее время в связи с расширением мы в поиске Data-инженера.

Задача - разработать и создать с нуля всю инфраструктуру, а именно:

  • извлечения данных оптимальным способом;
  • подготовки данных, их очистки и обогащения;
  • доставки данных потребителю в удобном формате;
  • хранения данных: выбор подходящего способа хранения, оптимальной структуры, сжатия, секционирования и глубины;
  • развертывания и поддержки инфраструктуры, мониторинга ее состояния.

Какие навыки нужны:

Computer science

  • Знания базовых алгоритмов, умение пользоваться основными структурами данных и оценивать сложность алгоритмов
  • ООП, паттерны проектирования, понимание как работают распределенные системы.

Работа с данными

  • SQL и разные диалекты — Postgres/Greenplum, Oracle, Clickhouse, Hive;
  • устройство реляционных баз данных;
  • разновидности NoSQL-решений — когда и зачем их выбирать и как готовить;
  • технологии BigData (Hadoop-стек);
  • брокеры сообщений (Kafka).

Основы хранилищ данных

  • теория построения хранилищ данных, слои и архитектурные подходы;
  • моделирование и нормализация данных;
  • ETL, способы организации конвейеров и их оптимизации;
  • навыки работы с ETL-инструментами и инструментами управления конвейерами обработки данных, такими как Apache Airflow или Apache NiFi или Apache Flink.

Инженерные навыки

  • Linux на уровне опытного пользователя;
  • навыки работы с Git;
  • понимание, что такое CI/CD и зачем оно вообще нужно;
  • навыки обращения с docker-контейнерами;
  • умение работать с k8s- и cloud-решениями.

Стэк

  • Python (def, pandas), SQL
  • Airflow
  • Git
  • Hadoop, Postgres (window, index, performance), столбчатые БД.
  • Создание и поддержание моделей данных (dbt)
  • ETL/ELT

Мы предлагаем:

— Полностью удаленная работа из любой точки мира, 8-часовой рабочий день, 40-часовую рабочую неделя.

— Зарплатные ожидания готовы обсуждать после собеседования

— Работу в современной, технологичной IT-компании в команде экспертов и единомышленников

— Высококлассный IT/digital-продукт – актуальный, пользующийся спросом, с высоким потенциалом роста

— Возможность самореализации и личностного и профессионального развития