Mi opinión sencilla sobre lo de los agentes es que todo el rendimiento sobre los modelos viene del contexto, así que necesitas darle acceso a todos tus datos, los más sensibles de los más sensibles, más de lo que nunca habías pensado que era aceptable compartir, y eso significará que querrás alojarlo por tu cuenta a gran escala

Empezarás alojando tú mismo la infraestructura de VM / secretos, para hacer tareas más grandes acabarás usando bare metal, y cuando empieces a sentirte incómodo con los modelos grandes comprarás un clúster de GPU y autoalojarás modelos finos que sirven para el 90% de tus tareas

Cuando todo se ponga mal, querrás registros de auditoría, alertas, limitar el radio de explosión, todo ese rollo

Así que esto no es un problema de "ingeniería de IA", ¡es un problema muy, muy tradicional de empresa / infraestructura zerotrust!