Training & Evaluation Audit Report — SoccerPredictAI¶

Date: 2026-04-24 Auditor: GitHub Copilot (Claude Sonnet 4.6) Scope: Training, evaluation, CV, model selection, feature consistency, calibration Method: анализ src/models/, src/pipelines/classification.py, src/pipelines/tune.py, src/pipelines/final_train.py, params.yaml, src/data/splitting.py

1. Data Split & CV¶

Train/Test split¶

Утечка времени: ✅ Нет. Отсечка по времени строгая, индекс по startTimeUtc.

Walk-forward CV folds¶

Fold 1: train = everything before 2022-01-01, valid = 2022
Fold 2: train = everything before 2023-01-01, valid = 2023
Holdout: 2024+

✅ Walk-forward CV — правильный подход для временных рядов. Нет data leakage между folds.

2. Training Setup¶

Stage: classification_models¶

⚠️ P0: fracs_for_train: [0.001, 0.002] — тренирует на 0.1% и 0.2% от train-сета. Это smoke-конфигурация. Результаты не репрезентативны для production. Лучшая модель выбирается из toy-runs.

Stage: tune_xgb¶

⚠️ P0: n_trials=2 — Optuna с 2 trials не может найти значимо лучшие гиперпараметры. Tuning результаты non-meaningful.

Stage: final_train¶

✅ Calibration design корректен: temporal split для calibration, no random leakage.

3. Metrics¶

Метрики, логируемые в MLflow¶

Калибрация: - Raw ECE логируется для сравнения с calibrated - ECE вычисляется через compute_ece() в src/models/metrics.py

Segment metrics: compute_segment_metrics() логируется в final_train — breakdown по группам

4. Model Selection¶

Механизм выбора лучшей модели¶

В make_classification_runs():

_run_candidates: list[tuple[str, float]] = []
# ... для каждой модели / frac:
_run_candidates.append((run_id, holdout_logloss))
# ...
best_run_id = min(_run_candidates, key=lambda x: x[1])[0]

✅ Выбор по holdout log-loss — korektно.

⚠️ P1: При fracs_for_train=[0.001, 0.002] и нескольких моделях selection происходит по очень малой выборке — результаты нестабильны. Лучшая модель на 0.1% данных может быть совсем другой моделью при 100%.

Использование holdout для selection¶

classification_models использует holdout logloss для выбора best run_id. Это нарушает принцип holdout-only-for-final-evaluation при fracs_for_train iterations — каждая итерация оценивается на holdout.

⚠️ P2: Holdout виден для model selection в classification_models. Это не катастрофическая утечка (выбор между моделями, а не настройка параметров по holdout), но снижает объективность финальной оценки. final_train потом снова оценивает на том же holdout — значения не независимы.

5. Inconsistencies¶

Feature set между стадиями¶

✅ Все стадии используют одинаковый feature set через select_model_features().

window_sizes расхождение (потенциальное)¶

• features.window_sizes = [1,2,3,5,10] (feature engineering)
• classification.window_sizes = [1,3] (model input)

Нет runtime guard. Если изменить classification.window_sizes добавив [7], а features.window_sizes не включает 7 — silent NaN.

6. Findings (P0/P1/P2)¶