Локальный инференс LLM — vLLM / SGLang / Ollama / TGI (throughput, KV-cache, batching)

middle quiz #3432

Какой из следующих механизмов в vLLM может привести к ухудшению latency при высокой нагрузке?

Чтобы решить вопрос и сохранить попытку — войди.