Используй только переданные placeholders и значения в фигурных скобках. Если данных не хватает, явно помечай допущения вместо выдуманных значений.
Вы — специалист по MLOps. Моя модель {model_type}, развернутая в {target_environment}, сейчас показывает следующие метрики производительности: {current_metrics}. Ваша задача — разработать комплексную, конкретную и воспроизводимую систему мониторинга и оптимизации, которая:
- отслеживает дрейф данных и концепта, ухудшение качественных метрик модели и деградацию инфраструктурных ресурсов;
- включает автоматизированные пороги оповещений и примеры правил (в формате Prometheus Alertmanager или эквиваленте для {target_environment});
- описывает стратегии A/B‑тестирования и rollout (canary/blue‑green/traffic‑split) для безопасных обновлений модели;
- определяет непрерывные рабочие процессы (CI/CD/CT/Model registry/retraining) для поддержания {optimization_goal} в production.
Требования к ответу (строго):
1) Общий план (1 абзац): краткая цель и правила акцепта (критерии успешной работы системы).
2) Набор метрик для мониторинга (список):
- модельные метрики (точность, AUC, recall, precision, calibration, class‑wise, fairness),
- drift‑метрики (PSI, KS, embedding drift, population changes),
- инфраструктурные метрики (CPU, GPU, memory, disk I/O, network, p95/p99 latency, throughput),
- data‑pipeline health (missing features, schema changes, feature freshness),
- business KPI (если применимо).
Для каждой метрики укажите: единицу измерения, желаемую частоту сбора, рекомендуемое окно агрегации и пример порога (абсолютный и относительный).
3) Детальная стратегия детекции дрейфа:
- методы (статистические тесты PSI/KS, embedding‑based drift, adversarial validation, change‑point detection),
- настройка окон (baseline window, recent window), частоты проверки, сигналы совмещения нескольких тестов, и пример триггера для запуска retrain/alert.
4) Alerting:
- шаблоны автоматических порогов и уровни (P0/P1/P2), правила эскалации и действия (notify oncall, create incident, auto‑rollback),
- примеры правил в формате Prometheus AlertingRule YAML и/или псевдокод для систем оповещений в {target_environment},
- предложения по предотвращению шума (rate‑limiting, require sustained breach over N checks, combine conditions).
5) A/B‑тестирование и rollout:
- дизайн эксперимента (randomization, sample size calculation, primary/secondary metrics), статистические тесты и контроль ошибок типа I/II, длительность эксперимента, критерии остановки и принятия решения,
- схемы трафика (50/50, progressive canary), мониторинг guardrails (latency, error rate, business KPI), rollback criteria и автоматизация переключения.
6) CI/CD и непрерывная оптимизация:
- шаги pipeline: data validation → training → evaluation (shadow testing) → validation tests (unit, integration, fairness, robustness) → model registry → automated rollout,
- триггеры на retrain (дрейф, деградация KPI, календарный), тесты для предотвращения регрессий, и интеграция с системами управления версиями/артефактами (пример: MLflow/Model Registry),
- пример последовательности команд/CI job (псевдокод или GitHub Actions/GitLab CI snippet).
7) Автоматизация оптимизации производительности и ресурсов:
- стратегии авто‑скейлинга, batch vs online prediction tradeoffs, quantization/pruning/serving config для снижения латентности и расхода GPU/CPU, мониторинг использования GPU памяти и предложенные лимиты/requests для Kubernetes,
- workflow для автоматизированной гиперпараметрической оптимизации и/или онлайн‑обучения (если применимо к {model_type}).
8) Дашборды и визуализация: шаблоны дашбордов (Grafana/Datadog/Cloud Monitoring) с ключевыми графиками и alert panels; пример структуры dashboard‑а.
9) Security, compliance и data governance: краткие обязательные проверки (PII leakage, access control, audit logs), требования к хранению метрик и данным тренировки.
10) План внедрения и приоритеты: минимально жизнеспособный набор (MVP) для запуска за 2–4 недели и расширяемая дорожная карта (вехи, ответственные роли, ориентировочные усилия).
11) Примеры артефактов (конкретно):
- Prometheus AlertRule YAML (минимум два правила: качество модели и latency),
- пример SQL‑запроса для подсчёта PSI/KS по фиче,
- пример GitHub Actions (или эквивалент) job для CI pipeline.
12) Риски и предосторожности: возможные ложные срабатывания, влияние концептуального дрейфа, предотвращение отката качества.
Формат вывода от вас (строго структурированный):
- Разбейте ответ на помеченные разделы (п.1–11 как выше).
- Включите конкретные числовые примеры порогов и шаблоны кода/конфигураций.
- Там, где требуется локальная настройка под {target_environment}, укажите 2 варианта: «cloud‑native (k8s + Prometheus/Grafana)» и «managed cloud services (GCP/AWS/Azure)».
- Все фразы кратки и практичны; избегайте общей теории без шагов внедрения.
- Замените неявные значения примерами; если нужно, оставляйте плейсхолдеры с пояснением, какие значения туда вставить.
Примечание: перед началом работы замените {model_type}, {target_environment}, {current_metrics} и {optimization_goal} конкретными значениями.
