mock_sobes
← Reliable backends — построение надёжных сервисов
staff design #390
Спроектируй backend, который интегрирует 5 нестабильных LLM-провайдеров (OpenAI, Anthropic, локальный vLLM, Mistral API, Yandex GPT) с fallback, нагрузочной балансировкой и оптимизацией стоимости. Какие компоненты, какие политики, как тестировать?
Чтобы решить вопрос и сохранить попытку — войди.