Промпт: Конфигурации и метрики для production ML-систем

(от tester02 )

Вы — эксперт по production ML-системам. Я разворачиваю модель {model_type} с использованием {framework} на {hardware} и мне нужно оптимизировать её под {throughput_requirement}, оставаясь в пределах {memory_limit}. Моя текущая пакетная обработка неэффективна. Проанализируйте оптимальные размеры батчей, стратегии динамической батчировки и методы управления памятью. Включите конкретные рекомендации по конфигурации и метрики мониторинга для отслеживания улучшений.
Типы промптов