Data Scientist / AI Engineer (LLM, Prompt, Evaluation)

Уровень зарплаты: от 200 000 руб.
Местоположение: Россия, Москва и область (МСК +0ч)

Резюме: Data Scientist / AI Engineer (LLM, Prompt, Evaluation)

Обязанности
- Разработка и прототипирование LLM-ассистентов, RAG-систем и AI-агентов под бизнес-задачи.
- Prompt engineering: проектирование диалоговых сценариев, few-shot / CoT-подходы, сбор golden datasets.
- Построение evaluation pipelines: LLM-as-a-Judge, offline/online quality metrics, анализ прод-логов и пользовательского фидбэка.
- Разработка решений для document processing, извлечения структурированных данных и AI-консультаций по knowledge base.
- Интеграция AI-решений в продукт вместе с разработчиками, участие в запуске и поддержке production-сценариев.
- Работа с данными: SQL, pandas, очистка, EDA, структурирование и валидация данных.

Стек
Python, SQL, pandas, OpenAI API, LangChain, LangGraph, RAG, LangSmith, Function Calling, Structured Outputs, LLM Evaluation, Guardrails.

Ключевые проекты
1. AI Assistant: Document Processing + Scoring (2025–н.в.)
Разработала LLM-ассистента для обработки документов и консультаций по базе знаний: извлечение табличных данных из PDF через structured outputs, скоринг клиентов, RAG, function calling и guardrails.
Результат: автоматизировала скоринг клиентов и первую линию консультаций, снизив нагрузку на специалистов.

2. AI Sales Agent (2023)
Разработала диалогового LLM-ассистента для sales-сценариев: prompt design, golden datasets, LLM-as-a-Judge, анализ прод-логов и пользовательского фидбэка.
Результат: конверсия в целевое действие выросла на ~15%, CSAT увеличился с 55 до 70.

3. AI Content Pipeline (2024)
Настроила AI-pipeline для генерации контента с интеграцией ChatGPT, 11Labs, Suno и Runway; оптимизировала промпты, сценарии и логику взаимодействия между сервисами.
Результат: объем ручной работы сократился на 80%, запущено 5 AI-персонажей.

4. Data Quality Pipeline (2022)
Построила SQL/pandas-пайплайн для очистки данных, автоматизации сверок и мониторинга качества.
Результат: снизила ошибки идентификации записей примерно на 78%.

5. Travel Time Validation MVP (2026–н.в.)
Реализовала алгоритм скоринга и валидации данных о перемещениях: сравнение заявленного времени и маршрута с Google Maps routing для выявления аномальных перемещений.
Результат: собран и протестирован MVP, используемый в пилотном проекте у заказчика.

Дополнительный опыт
Лектор по Prompt Engineering (2023)
Провела 2 потока лекций и практик по prompt engineering: CoT, ToT, few-shot, RAG, ReAct. Разработала учебный план, задания и чек-листы.
Результат: 90% отзывов — положительные.