LiteLLM
SDK Python de código aberto e AI Gateway que fornece uma interface unificada compatível com OpenAI para mais de 100 APIs de LLM com controles de orçamento, rastreamento de custos e balanceamento de carga.
O LiteLLM tornou-se a camada de proxy de LLM padrão de fato, utilizado pela Netflix e outros adotantes de larga escala para unificar o acesso entre provedores. Seu roteamento com reconhecimento de orçamento pode alternar automaticamente para modelos mais baratos quando os limites de gastos são atingidos, aplicando limites de Token Budget nos níveis por chave, por usuário e por equipe. Isso o torna uma escolha natural para sistemas agênticos onde múltiplos agentes consomem tokens de forma independente e a governança de custos exige controles granulares. O núcleo com licença MIT é gratuito para auto-hospedagem, com um nível Enterprise de US$ 30 mil por ano para recursos avançados.