← все темы
Локальный инференс LLM — vLLM / SGLang / Ollama / TGI (throughput, KV-cache, batching)
llm-serving-engines
🎴 Пройти квиз5 вопросов
-
junior theory Представьте, что вы используете vLLM для обработки нескольких запросов одновременно. Как изменится throughput системы при увеличении размера KV-cache, если бат…
-
junior theory При использовании TGI (Text Generation Inference) с batching, как система может обрабатывать ситуации, когда один из запросов в батче вызывает ошибку (например…
-
junior theory Как бы вы оценили влияние разнообразия длины контекста (context length) на эффективность использования KV-cache в vLLM? Какие стратегии могут быть применены дл…
-
junior theory Представьте, что в системе на основе SGLang возникает долгий запрос, который блокирует ресурсы. Какие механизмы могут быть использованы для ограничения влияния…
-
junior theory Какие ограничения аппаратного обеспечения (например, лимиты памяти GPU) могут непосредственно влиять на выбор стратегии батчинга в Ollama? Как это влияет на ба…