A Microsoft anunciou esta semana novos avanços da sua tecnologia de Inteligência artificial (IA). Em publicação em seu blog, a empresa disse que seu modelo atual de IA ultrapassou os humanos em compreensão da linguagem natural (NLU) com benchmarks SuperGLUE.
A solução para o Natural Language Understanding (NLU) tem sido um dos objetivos mais antigos da IA e o SuperGLUE está atualmente entre os benchmarks mais promissores para avaliar modelos de NLU.
O benchmark SuperGLUE consiste em uma ampla gama de tarefas de NLU, incluindo resposta a perguntas, inferência de linguagem natural, resolução de co-referência, desambiguação de sentido de palavra e outros.
Como exemplo do resultados, foi usou uma simples tarefa de raciocínio causal. Dada a premissa "a criança ficou imune à doença" e a pergunta "qual é a causa disso?", O modelo é solicitado a escolher uma resposta entre dois candidatos plausíveis: 1 "evitou exposição à doença", e 2 "Ele recebeu a vacina para a doença".
Embora seja fácil para um humano escolher a resposta certa, esta decisão é um desafio para modelos de IA. Para obter a resposta certa, o modelo precisa entender a relação causal entre a premissa e essas opções plausíveis.
Para lidar melhor com os benchmarks, a Microsoft atualizou o modelo DeBERTa (Decoding-Enhanced BERT with Disentangled Attention) treinando uma versão maior que consiste em 48 camadas de Transformer com 1,5 bilhão de parâmetros.
DeBERTa é um modelo de linguagem neural baseado em Transformer pré-treinado em grandes quantidades de corpora de texto bruto usando aprendizagem auto supervisionada. Como outros PLMs, DeBERTa se destina a aprender representações de linguagem universal que podem ser adaptadas a várias tarefas de NLU downstream.
O modelo DeBERTa de AI agora pontua 89,9 no SuperGLUE pela primeira vez em termos de pontuação macro média, enquanto o modelo de conjunto com 3,2 bilhões de parâmetros pontua 90,3 superando a linha de base humana por uma margem considerável de 90,3 contra 89,8.
O modelo também está no topo da classificação de benchmark GLUE, com uma pontuação macro média de 90,8. Esta não é a primeira vez que um modelo de IA superou as linhas de base humanas.
O modelo de parâmetro "T5 + Meena" de 11 bilhões do Google ultrapassou a linha de base humana com uma pontuação de 90,2 em 5 de janeiro, que foi superada pelo modelo DeBERTa da Microsoft em 6 de janeiro.
A Microsoft está integrando o DeBERTa na próxima versão do modelo de representação de linguagem natural Microsoft Turing (Turing NLRv4).
O modelo será treinado em grande escala para oferecer suporte a produtos como Bing, Office, Dynamics e Azure Cognitive Services, alimentando uma ampla gama de cenários envolvendo interações humano-máquina e humano-humano por meio de linguagem natural como chatbot, recomendação, resposta a perguntas, pesquisa, assistência pessoal, automação de suporte ao cliente, geração de conteúdo e outros para beneficiar centenas de milhões de usuários por meio da iniciativa Microsoft AI em escala.
De acordo com a Microsoft, em comparação com o modelo T5 do Google, que consiste em 11 bilhões de parâmetros, o DeBERTa de 1,5 bilhão de parâmetros é muito mais eficiente em termos de energia para treinar e manter, e é mais fácil de compactar e implantar em aplicativos de várias configurações.
"DeBERTa superando o desempenho humano no SuperGLUE é um marco importante em direção à IA geral. Apesar de seus resultados promissores no SuperGLUE, o modelo não está de forma alguma alcançando a inteligência de nível humano da NLU.
Os humanos são extremamente bons em alavancar o conhecimento aprendido em diferentes tarefas para resolver uma nova tarefa com nenhuma ou pouca demonstração específica da tarefa.
Isso é conhecido como generalização composicional, a capacidade de generalizar para novas composições (novas tarefas) de constituintes familiares (subtarefas ou habilidades básicas de resolução de problemas).
Seguindo em frente, vale a pena explorar como fazer o DeBERTa incorporar estruturas composicionais de forma mais explícita, o que poderia permitir combinar computação neural e simbólica de linguagem natural semelhante ao que os humanos fazem", acrescentou a empresa.
O código fonte do modelo DeBERTa de 1,5 bilhão de parâmetros da Microsoft está disponível para o público.
Fonte: Blog Microsoft
