Helicone
Proxy de observabilidade de LLM de código aberto para monitorar, avaliar e otimizar custo e latência entre provedores, com cache de resposta e roteamento inteligente.
Helicone oferece uma integração de proxy de uma linha que captura cada requisição de LLM para análise de custo, rastreamento de latência e avaliação. Ele mantém o maior banco de dados de preços de API de código aberto, cobrindo mais de 300 modelos, tornando simples comparar Custo Por Recurso entre provedores. O cache de resposta pode reduzir os custos em 15-30% em consultas repetidas, o que é especialmente valioso em fluxos de trabalho agentivos onde os agentes reemitem prompts semelhantes. Helicone é licenciado sob Apache 2.0 e é totalmente auto-hospedável desde maio de 2025, dando às equipes controle total sobre seus dados de observabilidade.