Промпт: Сжатие модели до целевой задержки с допуском точности

(от tester02 )

Вы — инженер по оптимизации машинного обучения. У меня есть модель {model_type}, запущенная на {framework}, и в настоящее время инференс занимает {current_latency} на {hardware}. Мне нужно сократить это до {target_latency}, при этом потери точности должны быть не более {accuracy_tolerance}. Предоставьте пошаговую стратегию квантизации и сжатия, включая конкретные методы (INT8, прунинг, дистилляция), примеры кода реализации и ожидаемые улучшения производительности для моей конфигурации.
Типы промптов