Связь бизнес- и ML-метрик

Целью является не только высокая точность прогнозов, но и экономическая эффективность.

Основные соответствия

Бизнес-цель	Бизнес-метрика	ML-метрика
Удовлетворённость пользователей	Retention, engagement	Accuracy, F1-score
Доверие к платформе	Повторное использование	Log loss, Brier score
Монетизация	ROI	ROI стратегии ставок
Онлайн-сервис	Latency	p95 latency < 1000 мс

Важное пояснение

Если коэффициент букмекера низкий, а модель предсказывает высокую вероятность события, это может привести к увеличению числа успешных ставок, но для прибыли потребуется увеличение вложений.

Следовательно: - ML-метрики должны учитывать калибровку вероятностей - Необходимо сравнение с букмекерскими коэффициентами - Экономическая эффективность важнее чистой точности

Базовые сравнения

• Сравнение с baseline-моделью
• Сравнение с коэффициентами букмекеров