Minha visão simples sobre o Agent é que toda a performance sobre os modelos vem do contexto, então você precisa dar acesso a todos os seus dados, os mais sensíveis entre os dados sensíveis, mais do que jamais imaginou ser aceitável compartilhar antes, e isso significa que você vai querer auto-hospedar em escala

Você começa hospedando a VM / infraestrutura secreta por conta própria; para fazer tarefas maiores, acaba indo para bare metal, e quando começar a se sentir desconfortável com os modelos grandes, compra um cluster de GPU e hospeda auto-hospedagem modelos finos que servem para 90% das suas tarefas

Quando a situação desanda, você vai querer registros de auditoria, alertas, limitar o raio de explosão, tudo isso

Então, isso não é um problema de "engenharia de IA", é um problema muito, muito tradicional de Enterprise / ZeroTrust Infra!