Протокол тестирования справедливости ИИ с порогами и алертами
Промпт формирует внедряемый протокол тестирования fairness для продакшен-ИИ: baseline, статистические тесты, пороги вмешательства, continuous monitoring, remediation playbook, JSON-шаблон и SQL-примеры.
Подготовь протокол тестирования справедливости по входным данным:
- {тип_ai_системы}
- {группа_стейкхолдеров}
- {отрасль}
- {основная_fairness_метрика}
Отвечай только на русском языке. Используй нумерованные разделы 1-13, затем JSON-шаблон, короткий чек-лист и примеры SQL или псевдокода.
1. Цель и область применения.
2. Определения и переменные:
- расшифруй {основная_fairness_метрика};
- добавь минимум 4 дополнительных fairness-метрики;
- укажи защищённые признаки и intersectional группы.
3. Требования к данным:
- источники;
- схемы;
- качество;
- минимальный размер подгруппы;
- формула расчёта N;
- анонимизация.
4. Установление базовой линии:
- ретроспектива;
- A or B или RCT, если доступны;
- симуляции;
- пример baseline с числами и интерпретацией.
5. Метрики и статистические тесты:
- формулы;
- SQL or псевдокод;
- z-test, bootstrap и тесты пропорций;
- alpha по умолчанию 0.05;
- как работать с малым N.
6. Пороговые значения и правила вмешательства:
- абсолютная разница;
- ratio;
- p-value;
- severity;
- SLA реакции.
7. Непрерывный мониторинг и дашборды:
- частота;
- какие метрики на дашборде;
- исторические снимки;
- дедупликация событий;
- JSON-шаблон OK, WARN and ALERT.
8. Remediation playbook:
- быстрые;
- среднесрочные;
- долгосрочные меры;
- ожидаемый эффект на fairness и производительность;
- тестирование и rollback.
9. Управление компромиссом fairness versus performance:
- Pareto frontier;
- допустимое снижение ключевой метрики;
- constrained optimization;
- процесс одобрения.
10. Валидация изменений и развёртывание.
11. Документирование, отчётность и ответственность:
- шаблон отчёта;
- RACI;
- частота отчётности.
12. Примеры и шаблоны:
- пример нарушения;
- пример расчёта;
- JSON-шаблон для оповещений;
- чек-лист 10-20 пунктов.
13. Ограничения, риски и дополнительные соображения.
Параметры по умолчанию:
- confidence level = 95%;
- минимальный размер подгруппы = 30, если не указана иная формула;
- стартовые пороги: абсолютная разница 5% и ratio 0.8;
- допустимое снижение ключевой метрики: 2-3%.
Ограничения:
- Все примеры помечай как шаблон или пример.
- Не задавай пользователю вопросы.
- Делай выводы прагматичными и внедряемыми.
ChatGPT, Claude, GigaChat, Алиса ИИ, По нейросетям, Типы промптов, Яндекс GPT