Подними LLM Gateway для компании: 10 разных моделей (GPT-4, Claude, локальные Llama),
100 inference-сервисов потребители. Нужно: единый API, rate limiting, fallback, cost-tracking
по командам, кеширование, fallback при недоступности.
staff
design
#537
Чтобы решить вопрос и сохранить попытку — войди.