mock_sobes
← Поднять сервис: от MVP до production
staff design #537
Подними LLM Gateway для компании: 10 разных моделей (GPT-4, Claude, локальные Llama), 100 inference-сервисов потребители. Нужно: единый API, rate limiting, fallback, cost-tracking по командам, кеширование, fallback при недоступности.
Чтобы решить вопрос и сохранить попытку — войди.