Яндекс

Разработчик в группу скачивания

Не указана
  • Санкт-Петербург
  • Полная занятость
  • Полный день
  • Нет опыта
  • C++
  • STL

В интернете бесчисленное множество страниц, которые к тому же постоянно меняются, и одна из основных задач поискового робота Яндекса — эффективно и быстро скачивать эти страницы и подготавливать их для добавления в поисковую базу. От этого во многом зависит успех поиска в целом.

Мы постоянно улучшаем контент-систему Поиска, и нам нужны единомышленники, которые помогут сделать наших пользователей счастливее. Сейчас наша команда делает новую систему потоковой обработки скачанных данных, а также ищет способы более эффективного скачивания ресурсов из интернета и рендеринга динамических страниц.

Наш стек:

  • C++, GoLang
  • Linux

Какие задачи вас ждут:

  • Разработка realtime-обработчика скачанных документов
    Вы будете парсить страницы, применять к ним нейросетку и отправлять результаты сотням клиентов.

    Доработки и оптимизации «качалки» интернета и подсистем
    Вы займётесь поддержкой новых протоколов, обходом банов, оптимизацией скорости прокачки. Нужно будет дорабатывать и оптимизировать подсистемы для рендеринга и скачивания динамических страниц и ресурсов.

    Развитие поддержки системы
    Вы будете дополнять существующие метрики, логирование и трассировку, улучшать вьюеры и средства отладки, налаживать тестирование наших систем.

Мы ждем, что вы:

  • Уверенно владеете С++ и новыми стандартами
  • Имеете понятие о многопоточном программировании
  • Понимаете, как работают основные web-технологии
  • Пишете эффективный и понятный код
  • Способны объяснять свои решения и договариваться с коллегами
  • Самостоятельны и готовы работать в команде

Будет плюсом, если вы

  • Владеете JS