Novo Clone ChatGPT de Código Aberto - Chamado Dolly

O Open Source GPT Chat deu mais um passo adiante com o lançamento do Dolly Large Language Model (DLL) criado pela empresa de software empresarial Databricks.

O novo clone do ChatGPT é chamado Dolly, nomeado em homenagem à famosa ovelha de mesmo nome, o primeiro mamífero a ser clonado.

Modelos de Linguagem de Código Aberto em Grande Escala

O Dolly LLM é a mais recente manifestação do crescente movimento de IA de código aberto que busca oferecer maior acesso à tecnologia, para que ela não seja monopolizada e controlada por grandes corporações.

Uma das preocupações que impulsionam o movimento de inteligência artificial de código aberto é que as empresas possam relutar em fornecer dados sensíveis a uma terceira parte que controle a tecnologia de IA.

Baseado em Código Aberto

Dolly foi criada a partir de um modelo de código aberto criado pelo instituto de pesquisa EleutherAI e do modelo Alpaca da Universidade Stanford que, por sua vez, foi criado a partir do modelo de código aberto LLaMA, com 65 bilhões de parâmetros, criado pela Meta.

LLaMA, que significa Large Language Model Meta AI, é um modelo de linguagem que é treinado em dados publicamente disponíveis.

De acordo com um artigo da Weights & Biases, LLaMA pode superar muitos dos principais modelos de linguagem (OpenAI GPT-3, Gopher da Deep Mind e Chinchilla da DeepMind) mesmo sendo menor.

Criando um Conjunto de Dados Melhor

Outra inspiração veio de um artigo de pesquisa acadêmica (AUTOINSTRUÇÃO: Alinhando o Modelo de Linguagem com Instruções Geradas por Si Próprio PDF) que descreveu uma maneira de criar dados de treinamento de perguntas e respostas de alta qualidade, gerados automaticamente, que é melhor do que os dados públicos limitados.

O artigo de pesquisa Auto-instrutivo explica:

“... nós selecionamos um conjunto de instruções escritas por especialistas para tarefas inovadoras e mostramos através de avaliação humana que a otimização de GPT3 com a abordagem AUTOINSTRUÇÃO supera o uso de conjuntos de instruções públicos existentes por uma grande margem, ficando apenas com uma diferença absoluta de 5% em relação ao InstructGPT...

... Aplicando nosso método ao GPT3 original, demonstramos uma melhora absoluta de 33% em SUPERNATURALINSTRUCTIONS, em nível de desempenho equivalente ao InstructGPT... que é treinado com dados privados do usuário e anotações humanas."

A importância de Dolly é que ela demonstra que um modelo de linguagem grande e útil pode ser criado com um conjunto de dados menor, mas de alta qualidade.

Databricks observa:

“Dolly funciona pegando um modelo de 6 bilhões de parâmetros existente de código aberto da EleutherAI e o modificando um pouco para obter capacidades de seguir instruções, como geração de ideias e texto, que não estão presentes no modelo original, usando dados do Alpaca.

... Mostramos que qualquer pessoa pode pegar um modelo de linguagem grande (LLM) de código aberto e fora de prateleira e dar a ele a incrível habilidade de seguir instruções como o ChatGPT, treinando-o em 30 minutos em uma máquina, usando dados de treinamento de alta qualidade.

Surpreendentemente, seguir instruções não parece exigir os modelos mais recentes ou maiores: nosso modelo possui apenas 6 bilhões de parâmetros, comparados a 175 bilhões do GPT-3."

Databricks AI de código aberto

Diz-se que a Dolly democratiza a inteligência artificial. É parte de um movimento crescente que recentemente foi aderido pela organização sem fins lucrativos Mozilla com a criação da Mozilla.ai. A Mozilla é a editora do navegador Firefox e de outros softwares de código aberto.