mock_sobes
← GPU-вычисления (CUDA basics, батчинг, память, инференс)
senior theory #1495
Какие стратегии вы применяете для **batch size selection** в условиях ограниченных ресурсов (например, при запуске на GPU с малым объемом памяти)? Какие trade-offs вы учитываете при выборе размера батча и как проверяете, что ваша стратегия не приводит к **under-utilization**?
Чтобы решить вопрос и сохранить попытку — войди.