3 вопросов
-
senior theory Что такое KServe (бывший KFServing)? Какую нишу он занимает относительно vLLM, Triton, TorchServe, Ray Serve? Когда KServe — правильный выбор?
-
senior theory Расскажи про InferenceService CRD, scale-to-zero, GPU sharing и проблему cold-start для LLM endpoint'ов в KServe. Как с этим жить в продакшене?
-
staff theory Сравни KServe vs Ray Serve vs Triton vs использование vLLM напрямую за nginx/FastAPI. По каким осям выбираем? Дай матрицу и рекомендации для AI Platform универ…