14 вопросов
-
senior theory Что такое KServe (бывший KFServing)? Какую нишу он занимает относительно vLLM, Triton, TorchServe, Ray Serve? Когда KServe — правильный выбор?
-
senior theory Расскажи про InferenceService CRD, scale-to-zero, GPU sharing и проблему cold-start для LLM endpoint'ов в KServe. Как с этим жить в продакшене?
-
senior design Спроектируй KServe-деплоймент для production LLM endpoint с canary rollout новой версии модели: 10% трафика на v2, метрики качества и latency, автоматический r…
-
staff theory Сравни KServe vs Ray Serve vs Triton vs использование vLLM напрямую за nginx/FastAPI. По каким осям выбираем? Дай матрицу и рекомендации для AI Platform универ…
-
middle quiz Какой из следующих механизмов позволяет KServe автоматически масштабировать инференс-сервисы в зависимости от нагрузки?
-
middle quiz Какой из следующих форматов используется для описания модели в KServe?
-
middle quiz Какой из следующих механизмов позволяет KServe обрабатывать трафик с разными версиями модели?
-
middle quiz Какой из следующих форматов модели не поддерживается KServe напрямую?
-
middle quiz Какой из следующих способов позволяет управлять ресурсами (CPU, GPU) в KServe?
-
middle quiz Какой из следующих механизмов используется для обеспечения отказоустойчивости в KServe?
-
middle quiz Какой из следующих способов позволяет отслеживать метрики в KServe?
-
middle quiz Какой из следующих способов позволяет реализовать A/B тестирование в KServe?
-
middle quiz Какой из следующих способов позволяет обновить модель в KServe без простоя?
-
middle quiz Какой из следующих способов позволяет управлять доступом к модели в KServe?