TL;DR

Ведущий аналитик качества (AI): разработка и оптимизация системы оценки ИИ-ассистентов на базе LLM с акцентом на создание автоматизированных пайплайнов и метрик качества. Фокус на выстраивании процессов оценки с нуля, анализе данных для алаймента языковых моделей и повышении эффективности работы продуктов.

Локация: Москва, гибрид или офис

Зарплата: от 270 000 руб./мес. до налогов

Компания

Т-Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах, обслуживающая 50 млн клиентов.

Что делать

  • Создавать и развивать систему оценки ИИ-ассистентов, включая разработку метрик и формирование наборов запросов.
  • Организовывать разметку качества с помощью краудсорсинга и автоматизированных пайплайнов LLM-as-a-Judge.
  • Анализировать пользовательские диалоги для поиска инсайтов и проведения экспериментов по улучшению моделей.
  • Собирать данные для алаймента собственной языковой модели под специализированные задачи.

Требования

  • Опыт работы на стыке продуктовой аналитики и Data Science (чат-боты, поиск, генеративные технологии).
  • Уверенное владение SQL и Python (особенно Pandas).
  • Навыки написания качественного продакшен-кода.
  • Интерес к работе с текстовыми данными в LLM-продуктах.

Культура и преимущества

  • Аккредитованная ИТ-компания с возможностью гибридного графика работы.
  • Развитая внутренняя инфраструктура: фитнес-зоны, комнаты отдыха, Т-Клиника и корпоративные рестораны.
  • Расширенный ДМС со стоматологией, компенсация лекарств и страхование близких.
  • Карьерный рост через матрицу компетенций, менторство и обучение на курсах.
  • Сильное профессиональное сообщество и поддержка участия в конференциях.
  • Дополнительные 3 дня к отпуску с возможностью денежной компенсации.