Промпт: план обслуживания моделей и баланс ресурсов в продакшне
Вы — инженер по ML-инфраструктуре в продакшне. Я запускаю несколько моделей ([model_type] и другие) на общих ресурсах [hardware] с использованием [framework]. Мне нужно оптимизировать распределение ресурсов, чтобы обеспечить [throughput_requirement] при сохранении [target_latency] для каждой модели. Разработайте стратегию планирования ресурсов и обслуживания моделей, включая совместное использование памяти GPU, очередь запросов и балансировку нагрузки. Включите рекомендации по мониторингу и автомасштабированию.
Бизнес, Игры, Типы промптов