TL;DR

Backend-разработчик (AI): Проектирование и разработка интеллектуального роутера запросов к LLM-провайдерам с акцентом на высокую нагрузку и оптимизацию затрат. Фокус на построении масштабируемой микросервисной архитектуры, интеграции с AI API и реализации алгоритмов интеллектуальной маршрутизации.

Локация: Удалённо (РФ)

Зарплата: 200 000 – 350 000 ₽

Компания

Команда, развивающая высоконагруженный AI-сервис с интеллектуальной маршрутизацией запросов между провайдерами.

Что делать

  • Спроектировать и реализовать микросервис-шлюз, совместимый с OpenAI API.
  • Разработать систему интеллектуальной маршрутизации запросов между AI-провайдерами (OpenAI, Anthropic, DeepSeek и др.).
  • Настроить логирование метрик, включая latency, стоимость запросов и расход токенов.
  • Реализовать систему кеширования (semantic cache) и защиты от отказов (circuit breaker, rate limiting).
  • Спроектировать дашборд аналитики для мониторинга расходов и эффективности моделей.
  • Обеспечить биллинг и управление API-ключами пользователей.

Требования

  • Опыт работы с OpenAI API или аналогичными LLM API.
  • Глубокое понимание streaming (SSE).
  • Опыт проектирования и разработки микросервисных архитектур.
  • Уверенное владение Python (FastAPI/aiohttp) или Node.js (Express/Fastify).
  • Опыт работы с PostgreSQL и Redis.
  • Умение писать чистый, поддерживаемый код и работать автономно.

Хорошо, если есть

  • Опыт работы с LLM-роутингом или оркестрацией моделей.
  • Навыки работы с ML (LightGBM/CatBoost) для классификации запросов.
  • Опыт настройки биллинговых систем.
  • Понимание механики токенизации и ценообразования LLM.

Культура и преимущества

  • Полностью удалённая работа.
  • Прямое взаимодействие с основателями проекта, отсутствие бюрократии.
  • Проектная занятость с перспективой долгосрочного сотрудничества.
  • Возможность влиять на архитектурные решения с нуля.