Мониторинг дрейфа и оптимизация модели в рабочем контуре

Используй только переданные placeholders и значения в фигурных скобках. Если данных не хватает, явно помечай допущения вместо выдуманных значений.

Вы — специалист по MLOps. Моя модель {model_type}, развернутая в {target_environment}, сейчас показывает следующие метрики производительности: {current_metrics}. Ваша задача — разработать комплексную, конкретную и воспроизводимую систему мониторинга и оптимизации, которая:

- отслеживает дрейф данных и концепта, ухудшение качественных метрик модели и деградацию инфраструктурных ресурсов;
- включает автоматизированные пороги оповещений и примеры правил (в формате Prometheus Alertmanager или эквиваленте для {target_environment});
- описывает стратегии A/B‑тестирования и rollout (canary/blue‑green/traffic‑split) для безопасных обновлений модели;
- определяет непрерывные рабочие процессы (CI/CD/CT/Model registry/retraining) для поддержания {optimization_goal} в production.

Требования к ответу (строго):

1) Общий план (1 абзац): краткая цель и правила акцепта (критерии успешной работы системы).

2) Набор метрик для мониторинга (список):  
   - модельные метрики (точность, AUC, recall, precision, calibration, class‑wise, fairness),  
   - drift‑метрики (PSI, KS, embedding drift, population changes),  
   - инфраструктурные метрики (CPU, GPU, memory, disk I/O, network, p95/p99 latency, throughput),  
   - data‑pipeline health (missing features, schema changes, feature freshness),  
   - business KPI (если применимо).  
   Для каждой метрики укажите: единицу измерения, желаемую частоту сбора, рекомендуемое окно агрегации и пример порога (абсолютный и относительный).

3) Детальная стратегия детекции дрейфа:  
   - методы (статистические тесты PSI/KS, embedding‑based drift, adversarial validation, change‑point detection),  
   - настройка окон (baseline window, recent window), частоты проверки, сигналы совмещения нескольких тестов, и пример триггера для запуска retrain/alert.

4) Alerting:  
   - шаблоны автоматических порогов и уровни (P0/P1/P2), правила эскалации и действия (notify oncall, create incident, auto‑rollback),  
   - примеры правил в формате Prometheus AlertingRule YAML и/или псевдокод для систем оповещений в {target_environment},  
   - предложения по предотвращению шума (rate‑limiting, require sustained breach over N checks, combine conditions).

5) A/B‑тестирование и rollout:  
   - дизайн эксперимента (randomization, sample size calculation, primary/secondary metrics), статистические тесты и контроль ошибок типа I/II, длительность эксперимента, критерии остановки и принятия решения,  
   - схемы трафика (50/50, progressive canary), мониторинг guardrails (latency, error rate, business KPI), rollback criteria и автоматизация переключения.

6) CI/CD и непрерывная оптимизация:  
   - шаги pipeline: data validation → training → evaluation (shadow testing) → validation tests (unit, integration, fairness, robustness) → model registry → automated rollout,  
   - триггеры на retrain (дрейф, деградация KPI, календарный), тесты для предотвращения регрессий, и интеграция с системами управления версиями/артефактами (пример: MLflow/Model Registry),  
   - пример последовательности команд/CI job (псевдокод или GitHub Actions/GitLab CI snippet).

7) Автоматизация оптимизации производительности и ресурсов:  
   - стратегии авто‑скейлинга, batch vs online prediction tradeoffs, quantization/pruning/serving config для снижения латентности и расхода GPU/CPU, мониторинг использования GPU памяти и предложенные лимиты/requests для Kubernetes,  
   - workflow для автоматизированной гиперпараметрической оптимизации и/или онлайн‑обучения (если применимо к {model_type}).

8) Дашборды и визуализация: шаблоны дашбордов (Grafana/Datadog/Cloud Monitoring) с ключевыми графиками и alert panels; пример структуры dashboard‑а.

9) Security, compliance и data governance: краткие обязательные проверки (PII leakage, access control, audit logs), требования к хранению метрик и данным тренировки.

10) План внедрения и приоритеты: минимально жизнеспособный набор (MVP) для запуска за 2–4 недели и расширяемая дорожная карта (вехи, ответственные роли, ориентировочные усилия).

11) Примеры артефактов (конкретно):  
    - Prometheus AlertRule YAML (минимум два правила: качество модели и latency),  
    - пример SQL‑запроса для подсчёта PSI/KS по фиче,  
    - пример GitHub Actions (или эквивалент) job для CI pipeline.

12) Риски и предосторожности: возможные ложные срабатывания, влияние концептуального дрейфа, предотвращение отката качества.

Формат вывода от вас (строго структурированный):  
- Разбейте ответ на помеченные разделы (п.1–11 как выше).  
- Включите конкретные числовые примеры порогов и шаблоны кода/конфигураций.  
- Там, где требуется локальная настройка под {target_environment}, укажите 2 варианта: «cloud‑native (k8s + Prometheus/Grafana)» и «managed cloud services (GCP/AWS/Azure)».  
- Все фразы кратки и практичны; избегайте общей теории без шагов внедрения.  
- Замените неявные значения примерами; если нужно, оставляйте плейсхолдеры с пояснением, какие значения туда вставить.

Примечание: перед началом работы замените {model_type}, {target_environment}, {current_metrics} и {optimization_goal} конкретными значениями.