Como funciona o ChatGPT?

O ChatGPT é uma das novas ferramentas com inteligência artificial mais brilhantes, mas os algoritmos que funcionam em segundo plano têm, na verdade, alimentado toda uma gama de aplicativos e serviços desde 2020. Portanto, para entender como o ChatGPT funciona, precisamos começar falando sobre o idioma subjacente motor que o alimenta.

O GPT no ChatGPT é principalmente GPT-3, ou o Transformador pré-treinado generativo 3, embora o GPT-4 esteja agora disponível para assinantes do ChatGPT Plus - e provavelmente se tornará mais difundido em breve. Os modelos GPT foram desenvolvidos pela OpenAI (a empresa por trás do ChatGPT e do gerador de imagens DALL·E 2), mas eles alimentam tudo, desde os recursos de IA do Bing até ferramentas de escrita como Jasper e Copy.ai. Na verdade, a maioria dos geradores de texto AI disponíveis no momento usam GPT-3 e provavelmente oferecerão GPT-4 como próximo passo.

O ChatGPT trouxe o GPT-3 para o centro das atenções porque tornou o processo de interação com um gerador de texto de IA simples e, o mais importante, gratuito para todos. Além disso, é um chatbot, e as pessoas adoram um bom chatbot desde o SmarterChild.

Embora o GPT-3 e o GPT-4 sejam os Large Language Models (LLMs) mais populares no momento, nos próximos anos é provável que haja muito mais concorrência. O Google, por exemplo, tem o Bard - seu chatbot de IA - que é alimentado por seu próprio mecanismo de linguagem Pathways Language Model (PaLM 2). Mas, por enquanto, a oferta da OpenAI é o padrão de fato da indústria. É apenas a ferramenta mais fácil para as pessoas colocarem as mãos.

Portanto, a resposta para "como funciona o ChatGPT?" é basicamente: GPT-3 e GPT-4. Mas vamos cavar um pouco mais fundo.

O que é o ChatGPT?

ChatGPT é um aplicativo desenvolvido pela OpenAI. Usando os modelos de linguagem GPT, ele pode responder às suas perguntas, redigir cópias, redigir e-mails, manter uma conversa, explicar o código em diferentes linguagens de programação, traduzir linguagem natural para código e muito mais - ou pelo menos tentar - tudo com base na linguagem natural solicita que você o alimente. É um chatbot, mas muito, muito bom.

Embora seja legal brincar se, digamos, você quiser escrever um soneto de Shakespeare sobre seu animal de estimação ou obter algumas ideias para linhas de assunto para alguns e-mails de marketing, também é bom para o OpenAI. É uma maneira de obter muitos dados de usuários reais e serve como uma demonstração sofisticada do poder do GPT, que poderia parecer um pouco confuso, a menos que você esteja profundamente envolvido com o aprendizado de máquina.

No momento, o ChatGPT oferece dois modelos de GPT. O padrão, GPT-3.5, é menos poderoso, mas está disponível gratuitamente para todos. O GPT-4 mais avançado é limitado aos assinantes do ChatGPT Plus, e mesmo eles recebem apenas um número limitado de perguntas todos os dias.

Um dos grandes recursos do ChatGPT é que ele pode se lembrar da conversa que você está tendo com ele. Isso significa que ele pode obter contexto de tudo o que você perguntou anteriormente e usá-lo para informar a conversa com você. Você também pode solicitar retrabalhos e correções, e isso se referirá a tudo o que você discutiu antes. Isso faz com que a interação com a IA pareça um vaivém genuíno.

Se você quiser realmente ter uma ideia, passe cinco minutos jogando com o ChatGPT agora (é grátis!), E depois volte para ler sobre como ele funciona.

Como funciona o ChatGPT?

Este enorme conjunto de dados foi usado para formar uma rede neural de aprendizado profundo [ ... ] modelada a partir do cérebro humano - o que permitiu ao ChatGPT aprender padrões e relacionamentos nos dados de texto [ ... ] prevendo qual texto deveria vir a seguir em qualquer frase .

O ChatGPT funciona tentando entender seu prompt e, em seguida, cuspindo sequências de palavras que ele prevê que responderão melhor à sua pergunta, com base nos dados em que foi treinado.

Vamos falar sobre esse treinamento. É um processo em que a IA nascente recebe algumas regras básicas e, em seguida, é colocada em situações ou recebe muitos dados para trabalhar a fim de desenvolver seus próprios algoritmos.

O GPT-3 foi treinado em aproximadamente 500 bilhões de "tokens", que permitem que seus modelos de linguagem atribuam significado com mais facilidade e prevejam texto subsequente plausível. Muitas palavras são mapeadas para tokens únicos, embora palavras mais longas ou mais complexas geralmente se decomponham em vários tokens. Em média, os tokens têm aproximadamente quatro caracteres. A OpenAI não falou sobre o funcionamento interno do GPT-4, mas podemos presumir com segurança que ele foi treinado no mesmo conjunto de dados, pois é ainda mais poderoso.

Todos os tokens vieram de um enorme corpus de dados escritos por humanos. Isso inclui livros, artigos e outros documentos em todos os diferentes tópicos, estilos e gêneros - e uma quantidade inacreditável de conteúdo extraído da Internet aberta. Basicamente, foi permitido triturar a soma total do conhecimento humano.

Esse enorme conjunto de dados foi usado para formar uma rede neural de aprendizado profundo - um algoritmo complexo, ponderado e de várias camadas modelado após o cérebro humano - que permitiu ao ChatGPT aprender padrões e relacionamentos nos dados de texto e aproveitar a capacidade de criar respostas prevendo qual texto deve vir a seguir em qualquer frase.

Embora, na verdade, isso subestime muito as coisas. O ChatGPT não funciona em nível de frase - em vez disso, está gerando texto de quais palavras, frases e até mesmo parágrafos ou estrofes podem vir a seguir. Não é o texto preditivo em seu telefone adivinhando sem rodeios a próxima palavra; está tentando criar respostas totalmente coerentes para qualquer prompt.

Para refinar ainda mais a capacidade do ChatGPT de responder a uma variedade de solicitações diferentes, ele foi otimizado para diálogo com uma técnica chamada aprendizado por reforço com feedback humano (RLHF). Essencialmente, os humanos criaram um modelo de recompensa com dados de comparação (onde duas ou mais respostas do modelo foram classificadas por treinadores de IA), para que a IA pudesse aprender qual era a melhor resposta.

De volta à rede neural que formou. Com base em todo esse treinamento, a rede neural do GPT-3 tem 175 bilhões de parâmetros ou variáveis que permitem receber uma entrada - seu prompt - e, com base nos valores e pesos que atribui aos diferentes parâmetros (e uma pequena quantidade de aleatoriedade ), emite o que achar melhor para sua solicitação. A OpenAI não disse quantos parâmetros o GPT-4 tem, mas é um palpite seguro de que é mais de 175 bilhões e menos do que os rumores de 100 trilhões de parâmetros. Independentemente do número exato, mais parâmetros não significa automaticamente melhor. Parte do aumento de potência do GPT-4 provavelmente vem de ter mais parâmetros do que o GPT-3, mas muito provavelmente se deve a melhorias em como ele foi treinado.

No final, a maneira mais simples de imaginar é como um daqueles jogos de "terminar a frase" que você jogava quando criança.

No final, a maneira mais simples de imaginar é como um daqueles jogos de "terminar a frase" que você jogava quando criança. Por exemplo, quando dei ao ChatGPT usando GPT-3 o prompt "Zapier is…", ele respondeu dizendo:

"O Zapier é uma ferramenta de automação baseada na Web que permite aos usuários conectar diferentes aplicativos da Web para automatizar tarefas repetitivas e melhorar os fluxos de trabalho."

Esse é o tipo de frase que você pode encontrar em centenas de artigos descrevendo o que o Zapier faz, então faz sentido que seja o tipo de coisa que ele cuspiu aqui. Mas quando meu editor deu o mesmo prompt, ele disse:

"O Zapier é uma ferramenta de automação baseada na web que permite aos usuários conectar diferentes aplicativos da web e automatizar fluxos de trabalho entre eles."

Isso é bem parecido, mas não é exatamente a mesma resposta. Essa aleatoriedade (que você pode controlar em alguns aplicativos GPT-3 com uma configuração chamada "temperatura") garante que o ChatGPT não esteja apenas respondendo a cada resposta com o que equivale a uma resposta padrão. Ele está executando cada prompt por toda a rede neural a cada vez e rolando alguns dados aqui e ali para manter as coisas atualizadas. Não é provável que comece afirmando que Zapier é uma cor de Marte, mas irá misturar as seguintes palavras com base em suas probabilidades relativas.

(Pelo que vale a pena, ao rodar no GPT-4, o ChatGPT disse: " Zapier é uma ferramenta de automação baseada na web que permite aos usuários integrar e automatizar tarefas entre vários aplicativos e serviços online." Quase o mesmo!)

Cuspindo palavras, não conhecimento

Os criadores do ChatGPT são os primeiros a dizer que ele pode produzir informações incorretas (e possivelmente prejudiciais), embora estejam trabalhando duro para corrigi-las.

Aqui está um exemplo manso. Quando perguntei ao ChatGPT usando GPT-3 e GPT-4 para responder a "Harry Guinness is ..." GPT-3 primeiro respondeu perguntando qual Harry Guinness. Ótima pergunta - somos literalmente dois! Então eu disse: "Harry Guinness, o escritor" (sou eu). GPT-4 adivinhou quem eu era imediatamente, embora ambas as respostas fossem fascinantes:

GPT-3: Harry Guinness é um escritor freelancer e jornalista residente na Irlanda. Ele escreveu para uma variedade de publicações, incluindo The New York Times, The Guardian, The Huffington Post e Popular Mechanics. Ele cobre tópicos que vão desde tecnologia e fotografia a viagens e cultura.

GPT-4: Harry Guinness é um escritor irlandês, fotógrafo e especialista em tecnologia. Ele escreveu para várias publicações, incluindo How-To Geek, Lifehacker e Tuts+. Seu trabalho se concentra principalmente em tecnologia, tutoriais e dicas, além de fotografia e edição de imagens. O Guinness construiu uma reputação por criar guias detalhados que ajudam os leitores a entender assuntos complexos ou resolver problemas de maneira direta.

A primeira e a última linhas do GPT-3 são extraídas quase literalmente de meus vários sites e biografias de autores na web (embora eu normalmente me liste como escritor e fotógrafo freelancer, não como jornalista). Mas a lista de publicações é basicamente composta. Escrevi para o The New York Times , mas não para o The Guardian , The Huffington Post ou Popular Mechanics (escrevo regularmente para a Popular Science , então pode ser de onde isso veio).

GPT-4 acerta a parte do fotógrafo e realmente lista algumas publicações para as quais escrevi, o que é impressionante, embora não sejam as que mais me orgulhariam. É um ótimo exemplo de como o OpenAI conseguiu aumentar a precisão do GPT-4 em relação ao GPT-3, embora nem sempre ofereça a resposta mais correta.

Mas vamos voltar ao GPT-3, pois seu erro fornece um exemplo interessante do que está acontecendo nos bastidores do ChatGPT. Na verdade, não sabe nada sobre mim. Não é nem copiar/colar da internet e confiar na fonte da informação. Em vez disso, está simplesmente prevendo uma série de palavras que virão a seguir com base nos bilhões de pontos de dados que possui.

Por exemplo: The New York Times é agrupado com muito mais frequência com The Guardian e The Huffington Post do que com os lugares para os quais escrevi, como Wired , Outside , The Irish Times e, claro, Zapier. Então, quando tem que descobrir o que deve seguir do The New York Times , não extrai das informações publicadas sobre mim; ele extrai essa lista de grandes publicações de todos os dados de treinamento que possui. É muito inteligente e parece plausível, mas não é verdade.

O GPT-4 faz um trabalho muito melhor e acerta as publicações, mas o resto do que ele diz realmente parece frases plausíveis de continuação. Não acho que tenha grande apreço pela minha reputação: está apenas dizendo o tipo de coisa que uma biografia diz. É muito melhor esconder como funciona do que o GPT-3, embora na verdade esteja usando a mesma técnica.

Ainda assim, é impressionante o quanto o GPT já melhorou. Por enquanto, o GPT-4 está bloqueado por uma assinatura premium, portanto, a maior parte do conteúdo do ChatGPT que você vê dependerá do GPT-3, mas isso pode mudar nos próximos tempos. Quem sabe o que o GPT-5 trará.

O que é a API do ChatGPT?

A OpenAI não tem uma atitude só para nós com sua tecnologia. A empresa possui uma plataforma de API que permite aos desenvolvedores integrar o poder do ChatGPT em seus próprios aplicativos e serviços (por um preço, é claro).

O Zapier usa a API do ChatGPT para potencializar sua própria integração do ChatGPT, que permite conectar o ChatGPT a milhares de outros aplicativos e adicionar IA aos seus fluxos de trabalho críticos para os negócios. Aqui estão alguns exemplos para você começar, mas você pode acionar o ChatGPT de basicamente qualquer aplicativo.

Você também pode usar outros modelos do OpenAI, como DALL·E e Whisper, com a integração do OpenAI do Zapier. Automatize fluxos de trabalho que envolvem geração de imagens e transcrição de áudio, diretamente dos aplicativos que você já usa.

Leitura relacionada: Como você pode (e quando não deve) usar o ChatGPT para escrever textos de marketing