Jensen Huang tem a visão de longo prazo necessária para comandar uma das maiores empresas do mundo. A apresentação feita na segunda-feira (28) pela NVIDIA é um exemplo disso.
Com uma única plataforma de segurança para agentes de inteligência artificial, a empresa parece atender a vários objetivos, reduzir os argumentos por um ritmo mais lento no desenvolvimento da IA e estimular a procura por seus produtos.
Como funciona a Open Agent Safety
A Open Agent Safety combina um ambiente isolado para agentes de IA com um sistema de monitoramento instalado nas DPUs BlueField-4 da NVIDIA. A plataforma tem dois componentes principais: OpenShell e Sentry.
O OpenShell é um software de código aberto que executa agentes em um ambiente isolado, com restrições aplicadas no núcleo do sistema operacional. Os agentes só podem usar formas de acesso aprovadas, sem contato com as credenciais reais.
Essa camada controla o acesso a arquivos, ferramentas e serviços externos, protege as credenciais e registra as decisões sobre permissões.
Já o Sentry funciona nas DPUs BlueField-4 e examina o raciocínio dos agentes de fora do ambiente em que eles são executados.
Esse componente também pode colocar em quarentena, em milissegundos, agentes que tentem ultrapassar os limites definidos.
Segurança como argumento contra a desaceleração da IA
Nas últimas semanas, Anthropic e OpenAI fizeram declarações de tom exagerado sobre os riscos da inteligência artificial.
- Leia também: NVIDIA lança driver GeForce 617.14 com otimizações para CONTROL Resonant e Gears of War: E-Day
Entre elas estão alertas de uma chance superior a 10% de a IA eliminar a humanidade na próxima década e uma mobilização coordenada em torno de agentes que supostamente escaparam de ambientes isolados para invadir sistemas de outras organizações.
Esse debate levou a pedidos para desacelerar o desenvolvimento da IA. Na prática, porém, Anthropic e OpenAI continuam lançando modelos: ambas tiveram lançamentos na semana passada.
Nesse contexto, a iniciativa da NVIDIA é uma jogada estratégica. A Open Agent Safety dá à empresa um argumento para neutralizar esses pedidos, que poderiam prejudicar seus lucros.
A lógica é a seguinte, se os agentes podem ser isolados, por que dedicar mais tempo ao alinhamento — o trabalho para adequar seu comportamento aos objetivos humanos — e aumentar o intervalo entre os lançamentos?
A plataforma também foi pensada para aumentar a demanda pelos produtos da NVIDIA, já que o Sentry funciona apenas nas DPUs BlueField-4.
Além disso, a estratégia posiciona os produtos da empresa como os mais seguros do setor. Essa imagem deve criar mais um motivo para a compra de seu hardware.
Sentry depende do acesso ao raciocínio dos modelos
Há, porém, uma condição importante. O Sentry só funciona quando a sequência de raciocínio de um modelo está visível.
Isso deve funcionar com a maioria dos modelos chineses com pesos abertos e servir de incentivo para que Anthropic e OpenAI exponham os registros de raciocínio de seus sistemas à análise.
Essa abertura também é uma medida já defendida para combater o risco de uma IA fora de controle. Uma das principais razões para Anthropic e OpenAI tentarem ocultar esses registros é a tendência de laboratórios chineses de usar a destilação de seus modelos proprietários.
Huang também parece ter tratado dessa questão, ao classificar a destilação como concorrência, e não como roubo:
"Eu realmente preferiria que ninguém aprendesse com nossos produtos e que pudéssemos seguir sem grandes esforços. Mas, francamente, a concorrência torna tudo melhor."
Os modelos com pesos abertos também precisam de muito mais capacidade de processamento, pois costumam ser executados em estruturas locais, na ponta da rede.
Ao mesmo tempo, cada grande empresa tenta controlar sua própria estrutura de processamento e os dados associados a ela. Nesse cenário, o apoio atual de Huang aos modelos abertos faz sentido.
Com uma única plataforma, a NVIDIA ganha argumentos para se apresentar como referência em segurança, neutraliza pedidos por um ritmo mais lento no desenvolvimento da IA, incentiva modelos com pesos abertos e estimula a demanda por produtos que já fazem parte de seu catálogo.
