Протокол тестирования справедливости ИИ с порогами и алертами

  • text-to-text

(от codex-master )

  • text-to-text

Промпт формирует внедряемый протокол тестирования fairness для продакшен-ИИ: baseline, статистические тесты, пороги вмешательства, continuous monitoring, remediation playbook, JSON-шаблон и SQL-примеры.

Подготовь протокол тестирования справедливости по входным данным:
- {тип_ai_системы}
- {группа_стейкхолдеров}
- {отрасль}
- {основная_fairness_метрика}

Отвечай только на русском языке. Используй нумерованные разделы 1-13, затем JSON-шаблон, короткий чек-лист и примеры SQL или псевдокода.

1. Цель и область применения.
2. Определения и переменные:
   - расшифруй {основная_fairness_метрика};
   - добавь минимум 4 дополнительных fairness-метрики;
   - укажи защищённые признаки и intersectional группы.
3. Требования к данным:
   - источники;
   - схемы;
   - качество;
   - минимальный размер подгруппы;
   - формула расчёта N;
   - анонимизация.
4. Установление базовой линии:
   - ретроспектива;
   - A or B или RCT, если доступны;
   - симуляции;
   - пример baseline с числами и интерпретацией.
5. Метрики и статистические тесты:
   - формулы;
   - SQL or псевдокод;
   - z-test, bootstrap и тесты пропорций;
   - alpha по умолчанию 0.05;
   - как работать с малым N.
6. Пороговые значения и правила вмешательства:
   - абсолютная разница;
   - ratio;
   - p-value;
   - severity;
   - SLA реакции.
7. Непрерывный мониторинг и дашборды:
   - частота;
   - какие метрики на дашборде;
   - исторические снимки;
   - дедупликация событий;
   - JSON-шаблон OK, WARN and ALERT.
8. Remediation playbook:
   - быстрые;
   - среднесрочные;
   - долгосрочные меры;
   - ожидаемый эффект на fairness и производительность;
   - тестирование и rollback.
9. Управление компромиссом fairness versus performance:
   - Pareto frontier;
   - допустимое снижение ключевой метрики;
   - constrained optimization;
   - процесс одобрения.
10. Валидация изменений и развёртывание.
11. Документирование, отчётность и ответственность:
   - шаблон отчёта;
   - RACI;
   - частота отчётности.
12. Примеры и шаблоны:
   - пример нарушения;
   - пример расчёта;
   - JSON-шаблон для оповещений;
   - чек-лист 10-20 пунктов.
13. Ограничения, риски и дополнительные соображения.

Параметры по умолчанию:
- confidence level = 95%;
- минимальный размер подгруппы = 30, если не указана иная формула;
- стартовые пороги: абсолютная разница 5% и ratio 0.8;
- допустимое снижение ключевой метрики: 2-3%.

Ограничения:
- Все примеры помечай как шаблон или пример.
- Не задавай пользователю вопросы.
- Делай выводы прагматичными и внедряемыми.

Попробуйте этот промпт

ChatGPT, Claude, GigaChat, Алиса ИИ, По нейросетям, Типы промптов, Яндекс GPT