План валидации

Оффлайн-валидация

• Разделение данных по времени
• Исключение data leakage
• Сравнение с:
• baseline-моделью
• коэффициентами букмекеров

Метрики оценки

• Accuracy / F1
• Log loss / Brier score
• Симуляция ROI стратегии ставок

Онлайн-валидация

• A/B-тестирование (после продуктовой интеграции)
• Сравнение пользовательских групп
• Анализ стабильности и деградации качества

Цель

Подтверждение того, что ML-решение решает бизнес-проблему, а не только оптимизирует метрики.