Índice de conteúdo
Por Sergio Soage, Engenheiro de Aprendizagem de Máquinas no Aivo
Como vimos na segunda parte da nossa série de artigos de IA conversacional, o ChatGPT chamou e continua chamando uma grande atenção. Não só pelo universo da inteligência artificial, mas também por praticamente todo o resto do mundo.
É por isso que, a partir da Aivo, decidimos analisar (como nos lançamentos do GPT-3 e outros modelos fundacionais) exaustivamente seus potenciais e suas limitações, a fim de determinar quais são os possíveis casos de uso que melhoram nosso pipeline conversacional.
Limitações do ChatGPT
Para resumir, o ChatGPT (para mais detalhes veja o artigo anterior) é um novo modelo baseado no GPT-3 e criado pela OpenAI. Este modelo fundacional foi intensamente supervisionado, treinado e otimizado através de diálogos usando a aprendizagem por reforço. Todo esse treinamento alcançou resultados muito promissores e o ChatGPT impressiona os usuários com sua capacidade de gerar texto a partir de uma entrada apresentada pelos usuários. No entanto, em testes extensos, vimos que este modelo não é totalmente preciso e há muito que podemos e devemos aprender sobre o seu funcionamento.
O resultado de nossos testes indica que, como uma tecnologia de conversação, não é totalmente confiável e até tem o potencial de gerar múltiplos problemas para nossos clientes.
Utilizando este exemplo simples:
- Duas crianças, Chloe e Alexander, saíram para passear. Ambos viram um cachorro e uma árvore. Alexander também viu um gato e o mostrou para Chloe. Ela foi acariciar o gato. Quem viu o gato primeiro?
- Tanto Chloe quanto Alexander viram o gato ao mesmo tempo, já que Alexander mostrou para Chloe. Não está claro quem viu o gato primeiro, já que ambas as crianças estavam vendo a mesma coisa ao mesmo tempo.
EXTRAÍDO DE CHATGPT
Neste caso, fica claro que ele não entende o significado do que está lendo e dizendo, apresentando uma resposta ambígua. Esses e muitos outros exemplos explicam porque o ChatGPT não é uma solução recomendada para aplicações em que a precisão e a consistência são importantes.
Com a implantação atual, o ChatGPT não serve como um serviço principal confiável para aplicações que também se especializam em uma área. Mesmo que você tivesse um back-end que pudesse validar a resposta, também não ficaria claro se ele pode entregar informações precisas ou se ele pode ser corrigido sem um novo aperfeiçoamento. Como vimos no post anterior, até a OpenAI explica que o sistema não é confiável. Resumindo, as desvantagens de modelos como o ChatGPT são:
- Ele não fornece informações de fato corretas. A própria OpenAI explica: "A OpenAI confirma que o ChatGPT às vezes escreve respostas plausíveis, mas incorretas ou sem sentido."
- Falta de domínio específico: você não encontra o conhecimento para resolver dúvidas de assuntos específicos.
- Falta de capacidade de troca e até mesmo de conversação: Ele não tem acesso a bancos de dados de clientes, nem é capaz de manter o estado de uma conversa além do comprimento dos tokens que o prompt pode suportar.
- Dependência de um aplicativo de terceiros para todo o processamento de dados do cliente . A privacidade e a segurança dos dados são um grande risco nesse modelo.
- A OpenAI escreveu um relatório muito bom sobre os problemas e possíveis correções. Você pode lê-lo aqui e se aprofundar em mais informações neste artigo.
Artigo relacionado: Introdução: o risco dos modelos fundacionais da inteligência artificial
GPT Chat: Casos de uso com sucesso
Isso significa que modelos como GPT e outros não devem ser usados em tecnologias de conversação? Claramente, a resposta é não. Esses modelos são incrivelmente úteis para a melhoria dos nossos e desenvolver a experiência do usuário. Na Aivo, usamos GPT-3 e outros modelos de várias formas, entre elas:
Geração de dados
- Dados de treinamento: Existem vários artigos que usam modelos fundacionais para gerar dados, como :
- Geração de Diálogos:
- A geração artifical de diálogos nos permite melhorar nossos modelos de Rastreamento de Estado do Diálogo, mudanças nas Intenções ou qualquer tipo de mudança na conversa (sentimento, etc.)
- Geração de respostas
- Por ser capaz de afetar a geração de respostas, seja via prompts ou através dos parâmetros do modelo (temperatura), podemos gerar variações nas respostas para melhorar a experiência do usuário e ajustá-la ao contexto da conversa.
Acelerar o tempo de desenvolvimento para otimizar nossos modelos
- O ChatGPT não é, nem será, o único modelo disponível. Podemos coneguir dados de várias fontes, controlando e escolhendo onde e como usar essas informações. Isso nos permite reduzir muito o tempo necessário para melhorar nossos modelos, aproveitando de forma seletiva e controlada o conhecimento adquirido pelos modelos fundacionais.
Estas são apenas algumas das maneiras que nós da Aivo utilizamos as tecnologias mais recentes, e vamos nos aprofundar nelas.
Este é o terceiro artigo de uma série sobre modelos fundacionais, ChatGPT e tecnologias de conversação. Se ainda não leu, te convidamos a ler os artigos anteriores no nosso blog. Na edição do próximo mês, vamos nos aprofundar e dar exemplos práticos de como usamos esses modelos na Aivo e quais melhorias conseguimos com dados do mundo real.
Enquanto isso, se você quiser saber mais sobre a tecnologia que usamos na Aivo, você pode começar conhecendo nossa Suite.
Até o próximo artigo!
Disclaimer: Este artigo NÃO foi gerado pelo ChatGPT, mas sim por um humano :)
.svg)
