← все темы
Локальный инференс LLM — vLLM / SGLang / Ollama / TGI (throughput, KV-cache, batching)
llm-serving-engines
🎴 Пройти квиз10 вопросов
-
middle quiz Какой из следующих факторов наиболее критичен для достижения высокого throughput в SGLang при обработке запросов с разной длиной контекста?
-
middle quiz Какой из следующих механизмов в vLLM может привести к ухудшению latency при высокой нагрузке?
-
middle quiz Какой из следующих факторов может привести к нестабильной производительности в TGI при высоком уровне параллелизма?
-
middle quiz Какой из следующих подходов в Ollama может помочь уменьшить количество утечек памяти при обработке большого количества запросов?
-
middle quiz Какой из следующих факторов может привести к снижению throughput в vLLM при использовании большого количества параллельных запросов?
-
middle quiz Какой из следующих механизмов может быть использован для уменьшения влияния долгих запросов на общую производительность в SGLang?
-
middle quiz Какой из следующих факторов может привести к ухудшению latency при использовании TGI с высокой частотой запросов?
-
middle quiz Какой из следующих факторов может быть причиной резкого падения throughput в vLLM при высокой нагрузке?
-
middle quiz Какой из следующих подходов может быть использован для оптимизации KV-cache в SGLang при высокой нагрузке?
-
middle quiz Какой из следующих факторов может привести к нестабильной работе в Ollama при высоком уровне параллелизма?