Обязанности:
- Опыт работы с Hadoop и его ключевыми компонентами, включая HDFS, YARN, и Hive.
Знание и опыт работы с Hue для управления Hadoop кластером и доступа к данным через веб-интерфейс.
Опыт разработки и управления рабочими процессами с помощью Oozie.
Знание и опыт работы с Apache Solr для индексации и поиска данных.
Опыт работы с Apache ZooKeeper для управления настройками конфигурации и координации в кластере.
Знакомство с железными серверами и умение работать в среде ОС Linux.
Знание командной строки Linux и умение писать скрипты на Bash/Python для автоматизации задач.
Опыт настройки и обслуживания кластеров Hadoop, включая мониторинг состояния и производительности.
Способность диагностировать и решать проблемы, связанные с производительностью и доступностью кластера.
Понимание безопасности в Hadoop, включая Kerberos и механизмы шифрования данных.
Плюсом будет:
- наличия сертификата, такую как Cloudera Certified Administrator for Apache Hadoop (CCAH) или аналогичную;
- наличия опыта работы с Apache Ozone