← все темы
Локальный инференс LLM — vLLM / SGLang / Ollama / TGI (throughput, KV-cache, batching)
llm-serving-engines
🎴 Пройти квиз3 вопросов
-
middle theory Представьте, что вы настраиваете TGI для обработки запросов с высокой частотой. Какие метрики вы бы использовали для профилирования производительности, и как и…
-
middle theory Как бы вы диагностировали проблему с резким падением throughput в vLLM при обработке 100+ параллельных запросов? Опишите шаги по анализу, возможные причины (на…
-
middle theory Как бы вы сравнили подходы к **priority-based batching** в TGI и SGLang? Какие сценарии (например, критически важные запросы vs обычные) могут выиграть от этог…