TL;DR
ML-аналитик (LLM): Улучшение качества и развитие функциональности языковых моделей Алисы с акцентом на анализ данных, оценку моделей и построение пайплайнов обучения. Фокус на промпт-инжиниринге, разработке метрик качества ответов и автоматизации процессов оценки через LLM-as-a-Judge.
Локация: Работа в российских офисах Яндекса.
Компания
Крупнейшая российская технологическая компания, развивающая поисковые, облачные и AI-продукты, включая интеллектуального ассистента Алиса.
Что делать
- Анализировать ответы моделей, выявлять типичные ошибки и точки роста для улучшения качества агентов.
- Участвовать в приёмке новых версий моделей, проводить эксперименты и сравнивать их по ключевым метрикам.
- Формировать задания на разметку данных, контролировать качество и подготавливать обучающие датасеты.
- Разрабатывать и внедрять инструменты автоматической оценки качества ответов (LLM-as-a-Judge).
- Писать аналитические скрипты на Python для обработки данных и проверки гипотез.
Требования
- Уверенное владение Python и опыт работы с данными.
- Опыт работы с текстовыми данными или задачами NLP.
- Понимание статистических методов анализа экспериментов.
- Навыки подготовки и структурирования датасетов.
- Внимательность к деталям и способность работать с большими объёмами данных.
- Способность разбираться в сложных системах и находить причины ошибок.
Хорошо, если есть
- Опыт работы с LLM или генеративными моделями.
- Опыт управления процессами разметки данных.
- Опыт построения evaluation-пайплайнов для моделей.
Культура и преимущества
- Расширенная программа ДМС с первого месяца (включая стоматологию и помощь за рубежом).
- Гибкий график начала и окончания рабочего дня.
- Доступ к корпоративной платформе обучения, менторству и оплата профильных конференций.
- Спортивный клуб, собственные тренеры и команды по разным видам спорта.
- Льготные жилищные займы для сотрудников российских офисов.