Prompt-инженер (QA, тестирование)

Рувики - новая интернет-энциклопедия.

Наш продукт – Онлайн-энциклопедия, предоставляющая доступ к миллионам статей, изображений и видеороликов по самым различным темам - от истории и науки до искусства и технологий.

О проекте:

Мы развиваем инструменты и сервисы для автоматизации написания, проверки и обогащения статей в Рувики. Используем искусственный интеллект и большие языковые модели (LLM), чтобы повысить эффективность работы авторов и редакторов.

Роль в команде:
Мы ищем Prompt-инженера (с фокусом на QA), который поможет нашей команде отлаживать, тестировать и масштабировать LLM-сервисы, используя профессиональные техники промптинга.

Чем предстоит заниматься:

Разработка и оптимизация промптов: создание, настройка и итерационное улучшение промптов/инструкций LLM для задач генерации, верификации, модерации и обновления энциклопедических статей;

Контроль качества (QA) промптов и LLM-сервисов:

• Разработка и ведение тест-кейсов для типовых, сложных и граничных случаев на уровне промптов;
• Отладка промптов вручную через playground;
• Имитационное и стресс-тестирование промптов с помощью скриптов;
• Проведение оценки результатов, выявление и документирование багов и некорректных сценариев генерации;
• Внесение изменений до тех пор, пока не достигнут требуемый стандарт качества "на продуктив";

Документирование и стандартизация:

• Ведения библиотеки базовых промптов
• Написание планов тестирования и чек-листов контроля качества;
• Треккинг багов, которые относятся к промптам.

Работа с данными:

• Составление и разметка тестовых датасетов для проверки промптов
• Регулярная проверка корректности автогенерации

Взаимодействие с командой:

• менеджеры, разработчики и редакторы Рувики
• сбор обратной связи по качеству промптов;
• Участие в совместных исследованиях и экспериментах.

• Практический опыт в разработке и тонкой настройке промптов для LLM (ChatGPT, YandexGPT, GigaChat и др.);
• Владение продвинутыми методиками промптинга;
• Базовые знания Python для написания скриптов тестирования;
• Базовый SQL для проверки и отладки промежуточных результатов;
• Опыт взаимодействия с LLM через REST API;
• Навыки QA: написание тест-кейсов, анализ результатов генерации, автоматизация проверок, поиск и описание багов;
• Отличная письменная грамотность, внимательность к деталям;
• Владение английским на уровне не ниже intermediate (работа с документацией);
• Способность системно подходить к задачам, самостоятельно организовывать процесс тестирования и валидации.

Будет плюсом:

• Опыт в роли QA-инженера в сервисах искусственного интеллекта: чат-боты, генерация контента и изображений, подготовка разметки;
• Навыки работы с Docker, Git, облачными сервисами;
• Навыки сбора и систематизации обратной связи от пользователей/редакторов.

Если у вас склонность к выверке результата “до идеала”, азарт в борьбе с багами и галлюцинациями GPT — присоединяйтесь!

• Уровень дохода обсуждается с финальным кандидатом по итогам собеседования.

• Интересные задачи, крутые кейсы, возможность выйти на новый профессиональный уровень.

• 100% «белая» заработная плата, официальное трудоустройство по ТК РФ с первого дня.

• Полная занятость, комбинированный формат работы или удаленно в рамках РФ.

• Пятидневная рабочая неделя, с пн-пт.

• Шаговая доступность от метро Белорусская.

• Дружный и неравнодушный коллектив профессионалов.

• Программа ДМС после успешного прохождения испытательного срока.