Какой trade-off возникает при увеличении размера батча в Ollama при фиксированной длине контекста? Как это влияет на throughput, latency и использование GPU-памяти? Приведите примеры, когда увеличение батча может ухудшить производительность.
senior
theory
#986
Чтобы решить вопрос и сохранить попытку — войди.