O cenário de inteligência artificial generativa tem visto um crescimento exponencial na oferta de modelos e ferramentas. No entanto, a integração e o gerenciamento dessa complexidade têm se tornado um desafio para desenvolvedores. Diante disso, a Respan lançou o Respan Gateway, uma ferramenta open-source em Rust que se propõe a ser um "gateway de IA" flexível e extensível, com uma arquitetura centrada em plugins.
A proposta do Respan é clara: em vez de empacotar uma vasta gama de provedores e funcionalidades em um único software, o gateway oferece um núcleo minimalista e interfaces públicas. Tudo, desde provedores de modelos (como OpenAI, Anthropic, Gemini) e protocolos (chat, voz em tempo real, MCP) até funcionalidades de gateway (como roteamento inteligente, fallbacks e redação de PII), é tratado como um plugin. Essa modularidade permite que equipes montem a infraestrutura de IA exata que suas aplicações necessitam, sem a necessidade de alterar o núcleo do sistema. Desenvolvedores podem criar suas próprias funcionalidades como plugins adicionais, estendendo as capacidades do gateway sem complexidade excessiva.
O Desafio dos Gateways Monolíticos
O lançamento do Respan aborda um problema recorrente no ecossistema de IA. Conforme a descrição da empresa, a experiência com o LiteLLM, uma biblioteca popular para interagir com diversos modelos de linguagem, ilustra essa dificuldade. Ao longo do tempo, a Respan acumulou mais de 100.000 linhas de código em seu wrapper para o LiteLLM, adicionando funcionalidades para atender às necessidades específicas de milhares de organizações. No entanto, uma atualização de rotina do LiteLLM em janeiro causou erros intermitentes, forçando a empresa a retroceder e a não mais atualizar diretamente a biblioteca, mas sim a retroportar correções manualmente. Essa situação evidenciou a insustentabilidade de manter um sistema monolítico e a necessidade de uma arquitetura mais robusta e modular.
Arquitetura Inspirada em Plugins
Inspirado por soluções como o Nginx, o Respan Gateway foi projetado com um núcleo pequeno, focado em despachar eventos. A filosofia é que tudo deve ser um plugin. Isso inclui não apenas os provedores de modelos, mas também os protocolos de comunicação, as modalidades de dados (imagens, vídeos) e as funcionalidades de confiabilidade e segurança. A facilidade de adicionar um novo provedor é um dos pontos fortes destacados: um provedor pode ser definido em poucas linhas de código, e cada peculiaridade de um serviço específico é tratada como um plugin separado, com seus próprios testes. Essa abordagem visa simplificar a extensão do gateway, permitindo que desenvolvedores contribuam com novos plugins sem a necessidade de modificar o código central.
Flexibilidade na Integração e Uso
O Respan Gateway transcende a simples capacidade de chamar modelos de diferentes provedores através de um único endpoint. Ele lida automaticamente com ferramentas, imagens e protocolos de raciocínio. Uma aplicação que utiliza a API Realtime da OpenAI, por exemplo, pode usar o Gemini Live através do gateway, mesmo que nem todos os recursos sejam diretamente compatíveis. Da mesma forma, um aplicativo de chat simples pode configurar e usar ferramentas MCP sem a necessidade de implementar o protocolo diretamente. O gateway analisa as requisições em uma estrutura compartilhada, preservando campos específicos do provedor em seu formato nativo, mesmo que não haja um campo correspondente na estrutura interna. Isso garante que os dados não sejam perdidos e possam ser reescritos posteriormente.
A arquitetura baseada em streams permite que adaptadores processem conexões HTTP ou WebSocket, transformando-as em fluxos de eventos de entrada e saída tipados. O núcleo executa plugins na ordem de registro, permitindo que eles escolham provedores, filtrem ou envolvam fluxos, façam chamadas adicionais, retornem respostas ou recusem requisições. Quando os formatos do cliente e do provedor diferem, a tradução ocorre através de tipos compartilhados para mensagens, chamadas de ferramentas, resultados e streams. Esse modelo de stream é capaz de representar tanto requisições HTTP pontuais quanto sessões bidirecionais de longa duração.
Open Source e Roadmap
O Respan Gateway está disponível sob as licenças MIT ou Apache-2.0 no GitHub. Os usuários podem executá-lo localmente, compilando-o a partir do código-fonte, adicionando suas chaves de provedor e ajustando a URL base em um cliente compatível. A empresa também oferece uma plataforma hospedada para quem prefere uma solução gerenciada, com observabilidade e faturamento unificado. O roadmap da Respan foca na construção de um ecossistema de plugins, incentivando a comunidade a contribuir com novas funcionalidades, como roteamento, ferramentas, filtragem, observabilidade e segurança para agentes de IA. O repositório contém documentação sobre como escrever plugins e links para os já existentes.
Com reportagem de Brazil Valley
Source · Hacker News
