Orchestration Audit Report — SoccerPredictAI¶

Date: 2026-04-24 Auditor: GitHub Copilot (Claude Sonnet 4.6) Scope: Airflow DAGs — scheduling, dependency graph, retrain loop, fail handling Method: анализ airflow/dags/ (5 DAGs)

1. DAG Inventory¶

1.1 Инвентаризация DAG-ов¶

1.2 Dependency graph¶

soccer_etl_livescores_01 (и аналогичные livescores DAGs):

trigger_livescores_etl (HttpOperator: PATCH /sources/livescores/)
    ↓
wait_livescores_etl_done (HttpSensor: GET /monitoring/task_status/{task_id})

soccer_etl_export_matches_to_source:

table_match.trigger (HttpOperator: GET /sources/export/match)
    ↓
table_match.wait_done (HttpSensor: GET /monitoring/task_status/{task_id})
    ↓
table_match_raw.trigger (HttpOperator: GET /sources/export/match_raw)
    ↓
table_match_raw.wait_done (HttpSensor: GET /monitoring/task_status/{task_id})

✅ Tasks выстроены в правильном порядке — wait before next trigger.

2. Scheduling Audit¶

2.1 Расписание обновления данных¶

⚠️ Нет Airflow DAG для: - Запуска DVC pipeline (dvc repro) — retrain loop не автоматизирован - Запуска batch_inference для обновления match_features.parquet - Обновления serving artifacts после ретрейна

2.2 Риск freshness¶

Вывод: Инфраструктура scraping автоматизирована. Весь ML pipeline (data export → DVC → model update → serving refresh) требует ручного запуска.

3. Retrain Loop¶

3.1 Trigger criteria¶

⚠️ P0: Нет автоматического retrain trigger. Полностью ручной процесс.

4. Fail Handling¶

4.1 Retries¶

Все DAGs: retries: 3, retry_delay: timedelta(minutes=5) — ✅ настроено.

4.2 Sensor timeout¶

# Все HttpSensor:
poke_interval=60
timeout=60 * 60  # 1 час максимум ожидания
mode="reschedule"  # ✅ не блокирует worker slot

✅ Reschedule mode правильно освобождает worker slots.

4.3 Partial failures¶

При сбое одной из таблиц в etl_export_matches_to_source (table_match vs table_match_raw) — вторая таблица не запустится (sequential dependency). ✅ Правильное поведение.

4.4 Alerting¶

⚠️ P1: Нет email/Slack alerting при failures. Нет DAG-level alerting configuration.

5. Pipeline → Registry → Serving Gap¶

[Airflow] автоматически: scraping → PostgreSQL ✅
[Manual]  PostgreSQL → MinIO (export DAG, ручной) ⚠️
[Manual]  MinIO → DVC (dvc repro) ⚠️
[Manual]  DVC → MLflow Registry (register_model stage) ⚠️
[Manual]  Registry → Serving (Celery worker restart) ⚠️

⚠️ P0: Полный разрыв pipeline → registry → serving. После scraping всё дальнейшее требует ручного вмешательства.

6. Findings¶