3 вопросов
-
senior theory Что такое KServe (бывший KFServing)? Какую нишу он занимает относительно vLLM, Triton, TorchServe, Ray Serve? Когда KServe — правильный выбор?
-
senior theory Расскажи про InferenceService CRD, scale-to-zero, GPU sharing и проблему cold-start для LLM endpoint'ов в KServe. Как с этим жить в продакшене?
-
senior design Спроектируй KServe-деплоймент для production LLM endpoint с canary rollout новой версии модели: 10% трафика на v2, метрики качества и latency, автоматический r…