Data Engineer

Wildberries - это 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов

Мы - платформенная команда в направлении Trust & Safety.
Наша главная задача - контроль, хранение и обработка очень большого объема данных(datalake)

В нашу задачу входит разработка инструментов обеспечивающих соблюдение требований международного и внутреннего законодательства в отношении защиты и обработки персональных данных как на территории РФ, так и в странах присутствия Wildberries.

В связи с активным ростом команды, мы в поиске Data Engineer.

Задачи:

• Создавать и улучшать инфраструктуру для обработки данных
• Участвовать в разработке архитектуры хранения big-data
• Разрабатывать систему для работы с данными: хранилища, инструменты и сервисы
• Настраивать загрузку данных и их движение между инструментами
• Обновлять используемые инструменты и искать способы улучшения и автоматизации существующих процессов
• Выстраивать процессы работы с данными, строить новые витрины, участвовать в формировании структуры хранения данных

Для этого нужно:

• Опыт от 3 лет;
• Высокий уровень знаний SQL;
• Умение выстроить архитектуру сложных решений обработки данных;
• Понимание принципов работы с Bigdata, умение внедрять новые инструменты;
• Уметь быстро погружаться в новые области (прочитать документацию, суметь установить и настроить новую систему).

Стек технологий:

• Clickhouse/Redis/Postgres;
• AirFlow, AirByte, ByteBase, Flink, Spark;
• Redash, Superset, Jupyter;
• Ceph, S3;
• Kafka/RedPanda.

Мы предлагаем:

• Полная удаленка или свободное посещение офисов в Москве и Санкт-Петербурге;
• Оформление в аккредитованную IT-компанию (с поддержкой условий IT-ипотеки);
• Бесплатное питание при работе из офиса;
• Скидки на обучение от партнеров и внутренний корпоративный университет;
• ДМС со стоматологией (после 3-х месяцев испытательного срока);
• Еженедельные развлекательные события - от бизнес-завтраков до просмотра фильмов на проекторе в офисах.