О, ну вот это разговор по делу: есть препрод, протокола нет — значит, делаем с нуля. Держи именно то, что просил: текстовый список, без лишнего оформления, под твой кейс с препродом. Это можно пихать в Confluence, в описание задачи релиза или в doc — он универсальный. ============================ ПРЕДРЕЛИЗНЫЙ ПРОТОКОЛ ТЕСТИРОВАНИЯ Проект: Финам Объект: чат-бот (LLM + RAG-компании) Стенд: Preprod Версия релиза: ______ Дата: ______ Ответственный за тестирование: ______ Ответственный за релиз: ______ 1. Подтверждение состава релиза - Собрать список задач/тикетов, входящих в релиз (ID, краткое описание). - Проверить, что все эти задачи входят в релизную ветку (git log / PR). - Проверить, что в релизной ветке нет незапланированных изменений (diff с main/master). - Зафиксировать хэш релизного коммита: ________. - Получить подтверждение от ответственного разработчика по составу релиза: ________. Результат: OK / NOK, комментарий: ___________________________ 2. Проверка артефактов сборки - Убедиться, что релизная ветка успешно собрана CI/CD. - Зафиксировать версию артефакта/образа (tag, build number): ________. Результат: OK / NOK, комментарий: ___________________________ 3. Деплой на препрод - Проверить, что на препроде задеплоена именно релизная версия (через /health, /version или UI "О версии"). - Проверить статусы всех сервисов: - оркестратор диалога, - LLM gateway / proxy, - RAG-сервис (поиск по базам компании), - tool-агенты и интеграции (CRM, БД, внешние API), - очередь/шина (если есть), - интерфейс (web/мессенджер). Результат: OK / NOK, комментарий: ___________________________ 4. Конфигурация препрода - Проверить переменные окружения и конфиги: - корректные endpoint’ы внешних систем (боевые / тестовые — по правилам препрода), - корректные ключи/токены (предпрод/тест, не dev), - доступ к тестовым базам RAG (актуальный снапшот данных), - включены только нужные фичи и фичефлаги, экспериментальные отключены. Результат: OK / NOK, комментарий: ___________________________ 5. Функциональное тестирование фич релиза 5.1. Подготовка тест-кейсов - Для каждой фичи/фикса составить: - минимум 1 позитивный сценарий, - 1–2 негативных/краевых сценария. - Для LLM-фич зафиксировать: - пример запроса пользователя, - ожидаемое поведение/ответ (допустимый разброс формулировок), - критерии успешности (ключевые факты, ограничения по галлюцинациям). Результат: список тест-кейсов подготовлен: Да / Нет Ссылка: _________________________ 5.2. Прогон тестов по фичам Для каждой фичи/тикета: - ID: ______ - Описание: ____________________ Сценарий 1: - Вход: ____________________ - Ожидаемое поведение: ____________________ - Фактический результат: OK / NOK - Комментарий / скрины / логи: ____________________ Сценарий 2: - Вход: ____________________ - Ожидаемое поведение: ____________________ - Фактический результат: OK / NOK - Комментарий: ____________________ Итог по фиче: Пройдено / Есть дефекты Созданные баг-репорты (ID): ____________________ 6. Регрессионное тестирование 6.1. Определение области регресса - Зафиксировать, какие зоны затронуты изменениями: - диалоговая логика (маршрутизация, контекст), - использование RAG (поиск, релевантность, актуальность), - вызовы tool-агентов, - авторизация/аутентификация (если есть), - логирование, мониторинг, алерты. Результат: область регресса определена и согласована: Да / Нет Комментарий: ___________________________________________ 6.2. Регрессионный чек-лист - Сформировать набор регрессионных сценариев: - ключевые пользовательские сценарии (top-5 / top-10 запросов), - критические бизнес-функции (деньги/риски), - сценарии, которые ломались ранее, - сценарии по затронутым модулям. Примеры для LLM+RAG: - Бот корректно отвечает на типовые вопросы по продуктам/услугам компании через RAG. - Бот не придумывает несуществующие продукты/тарифы. - При отсутствии ответа в базе знаний бот честно сообщает об этом и даёт корректный fallback. - Ответы стабильны при перефразировании одного и того же вопроса. - Tool-агенты не выполняют неожиданных/опасных действий. Результат: - Сценарий 1: OK / NOK, комментарий: __________________ - Сценарий 2: OK / NOK, комментарий: __________________ … Общий результат регресса: Пройден / Есть критические дефекты Список критических багов: _______________________________ 7. Проверка ответов всех агентов (оркестрация, роли, навыки) 7.1. Перечень агентов - Составить список всех агентов/ролей: - системный / оркестратор, - предметные агенты (продукты, юрблок, инвестиции и т.п.), - служебные/вспомогательные. Список агентов: _________________________________________ 7.2. Тестирование агентов Для каждого агента: - Имя/роль: ______ - Типичные запросы: ______ Минимум 3–5 тестовых запросов: Вариант 1: - Вход: ____________________ - Ожидаемое поведение: ____________________ - Фактический результат: OK / NOK - Комментарий: ____________________ Проверить: - тональность и стиль (соответствие голосу Финам), - корректность фактов, - корректную маршрутизацию (не "утекает" не к тому агенту), - работу с контекстом диалога. Итог по агенту: OK / NOK, дефекты: ___________ 8. Проверка tool-агентов чат-бота 8.1. Перечень tool-агентов - Составить список всех tool-агентов и интеграций: - какие системы дергаются (CRM, внутренние API, внешние сервисы), - какие действия выполняют (чтение, запись, расчёты, подбор продуктов и т.п.). Список tool-агентов: ____________________________________ 8.2. Тестирование tool-агентов Для каждого tool-агента: - Название: ______ - Назначение: ______ Проверить: 1) Корректность вызова - При ожидаемом запросе пользователя агент вызывается. - При невалидном/неполном запросе — корректная обработка ошибок (бот объясняет проблему, не "падает" и не врёт). 2) Корректность данных - Входные параметры формируются корректно (ID, суммы, даты и т.д.). - Ответ правильно интерпретируется и возвращается пользователю без искажений. 3) Границы и безопасность - Агент не выполняет запрещённых операций без нужных проверок/подтверждений. - Ошибки внешних систем (таймауты, 4xx/5xx, недоступность) корректно обрабатываются. Фиксация: - Запрос пользователя: ____________________ - Ожидаемое действие tool-агента: _________ - Фактический вызов (по логам/трейсу): _________ - Фактический ответ пользователю: _________ - Результат: OK / NOK, комментарий: ________ 9. Нефункциональные проверки (по возможности) 9.1. Производительность и задержки - Замерить среднее время ответа на типовые запросы: ______ - Замерить максимальное время ответа на тяжёлые запросы: ______ - Проверить отсутствие таймаутов/деградаций под тестовой нагрузкой. Результат: OK / NOK, комментарий: ____________________ 9.2. Логирование и мониторинг - Проверить логирование ключевых событий: - запросы пользователя (с учётом анонимизации, если нужно), - вызовы tool-агентов (успех/ошибка), - ошибки LLM/RAG. - Проверить наличие алертов на критические ошибки и деградацию. Результат: OK / NOK, комментарий: ____________________ 10. Итоговое решение по релизу - Все обязательные проверки выполнены: Да / Нет - Критические дефекты: Есть / Нет - Блокирующие риски: Есть / Нет Решение: - Допустить релиз на прод: Да / Нет - Требуются доработки перед релизом: Да / Нет Подписи: - Ответственный за тестирование: ____________ / Дата: ___ - Ответственный за релиз: ________________ / Дата: ___ ============================ Если нужно, могу сделать ещё короткую "смоук"-версию на полстраницы, чисто под быстрый чек перед выкладкой на прод.