A NVIDIA revelou um novo software, o NeMo Guardrails, que garantirá que os chatbots conduzidos por modelos de linguagem grandes (LLMs)-como o ChatGPT (o mecanismo do Bing AI da Microsoft)-permaneçam no caminho certo de várias maneiras.
O maior problema que o software se propõe a resolver é o que é conhecido como’alucinações’, ocasiões em que o chatbot dá errado e faz uma declaração imprecisa ou até mesmo absurda.
Esse é o tipo de incidente que foram relatados no uso inicial do Bing AI e do Bard do Google. Freqüentemente, são episódios embaraçosos, francamente, que corroem a confiança no chatbot por razões óbvias.
Como relata o ZDNet, o NeMo Guardrails foi projetado pela NVIDIA para manter os ditos chatbots”precisos, apropriados, no tópico e seguros”, e há três principais’guarda-corpos’com o software de código aberto. Ou seja, proteção, proteção e grades de proteção tópicas.
O sistema de segurança é o que lida com a eliminação de alucinações de chatbot e erradicação de imprecisões e desinformação sendo vendidas pelo bot, garantindo que a IA se refira a fontes confiáveis ao citar material em respostas.
Quanto às proteções tópicas, elas podem ser usadas para impedir que o chatbot se desvie de tópicos específicos que ele foi projetado para abordar, novamente ajudando a conter instâncias de comportamento estranho, sem dúvida. Como quando empurrado para tópicos marginais, é quando a IA pode sair dos trilhos com suas respostas novamente.
Junto com isso, existem proteções de segurança para evitar a conexão com aplicativos externos sinalizados como suspeitos ou inseguro, nos diz a NVIDIA.
Framework NeMo
Não sabemos quando o software NeMo Guardrails será lançado, mas quando isso acontecer, ele será incluído no NVIDIA Framework NeMo (que é um código-fonte aberto no GitHub). Os desenvolvedores poderão, portanto, usá-lo amplamente para ajudar a domar os piores excessos de seus projetos de IA, ou pelo menos essa é a ideia-NeMo Guardrails será compatível com uma ampla gama de aplicativos habilitados para LLM.
NVIDIA observa:
“Praticamente todos os desenvolvedores de software podem usar NeMo Guardrails-não é necessário ser um especialista em aprendizado de máquina ou cientista de dados. Eles podem criar novas regras rapidamente com algumas linhas de código.”
p>
Isso soa como um desenvolvimento bem-vindo em termos de policiamento de chatbots e garantir que eles não saiam pela tangente ou façam coisas completamente erradas, o que é uma preocupação óbvia para entidades de IA sem supervisão.
Na verdade, ouvimos recentemente chamadas de um órgão de vigilância europeu para investigar se a IA representa um risco para os consumidores e quais medidas devem ser tomadas para proteger o público contra esses perigos.
O Europeu A Consumer Organization (BEUC) está particularmente preocupada com o efeito que os chatbots podem ter sobre os mais jovens e crianças, que podem estar propensos a acreditar que uma IA é autoritária ou mesmo infalível, quando claramente erros podem ser cometidos. O software da NVIDIA, no entanto, pode garantir que o último seja uma ocorrência rara.
