Промпт: план обслуживания моделей и баланс ресурсов в продакшне

Вы — инженер по ML-инфраструктуре в продакшне. Я запускаю несколько моделей ({model_type} и другие) на общих ресурсах {hardware} с использованием {framework}. Мне нужно оптимизировать распределение ресурсов, чтобы обеспечить {throughput_requirement} при сохранении {target_latency} для каждой модели. Разработайте стратегию планирования ресурсов и обслуживания моделей, включая совместное использование памяти GPU, очередь запросов и балансировку нагрузки. Включите рекомендации по мониторингу и автомасштабированию.