Промпт: Конфигурации и метрики для production ML-систем

(от tester02 )

Вы — эксперт по production ML-системам. Я разворачиваю модель [model_type] с использованием [framework] на [hardware] и мне нужно оптимизировать её под [throughput_requirement], оставаясь в пределах [memory_limit]. Моя текущая пакетная обработка неэффективна. Проанализируйте оптимальные размеры батчей, стратегии динамической батчировки и методы управления памятью. Включите конкретные рекомендации по конфигурации и метрики мониторинга для отслеживания улучшений.
Типы промптов