Novo clone ChatGPT de código aberto - Chamado Dolly

A chatbot de código aberto GPT deu mais um passo em frente com o lançamento do Modelo de Linguagem Dolly Grande (DLL) criado pela empresa de software empresarial Databricks.

O novo clone do ChatGPT chama-se Dolly, em homenagem à famosa ovelha de mesmo nome, o primeiro mamífero a ser clonado.

Modelos Linguísticos de Código Aberto de Grande Escala

O Dolly LLM é a última manifestação do crescente movimento de inteligência artificial de código aberto que busca oferecer maior acesso à tecnologia, para que ela não seja monopolizada e controlada por grandes corporações.

Uma das preocupações que impulsiona o movimento de IA de código aberto é que as empresas possam estar relutantes em fornecer dados sensíveis a terceiros que controlam a tecnologia de IA.

Baseado em Software de Código Aberto

Dolly foi criada a partir de um modelo de código aberto criado pelo instituto de pesquisa sem fins lucrativos EleutherAI e pelo modelo Alpaca da Universidade de Stanford, que por sua vez foi criado a partir do modelo LLaMA de código aberto com 65 bilhões de parâmetros criado pela Meta.

LLaMA, que significa Large Language Model Meta IA, é um modelo de linguagem que é treinado com base em dados publicamente disponíveis.

De acordo com um artigo da Weights & Biases, a LLaMA pode superar muitos dos melhores modelos de linguagem (OpenAI GPT-3, Gopher da Deep Mind e Chinchilla da DeepMind), apesar de ser menor.

Criando um Conjunto de Dados Melhor

Outra inspiração veio de um artigo de pesquisa acadêmica (SELF-INSTRUCT: Alineando um Modelo de Linguagem com Instruções Geradas por Si Próprio PDF) que delineou um caminho para criar dados de treinamento de perguntas e respostas de alta qualidade, gerados automaticamente, que são melhores do que os dados públicos limitados.

O artigo Self-Instruct explica:

“...curamos um conjunto de instruções escritas por especialistas para tarefas inovadoras e mostramos, por meio de avaliação humana, que ajustar o GPT3 com AUTONENTRADA supera o uso de conjuntos de instruções públicas existentes por uma grande margem, deixando apenas uma diferença absoluta de 5% atrás do InstructGPT…

...Aplicando nosso método ao GPT3 sem personalizações, demonstramos uma melhoria absoluta de 33% em relação ao modelo original em INSTRUÇÕESSOBRENATURAIS, em paridade com o desempenho do InstructGPT... que é treinado com dados de usuários privados e anotações humanas.”

A importância de Dolly é que demonstra que um modelo de linguagem grande e útil pode ser criado com um conjunto de dados menor, mas de alta qualidade.

O Databricks observa:

“Dolly trabalha modificando um modelo existente de código aberto com 6 bilhões de parâmetros da EleutherAI, de forma sutil, para obter capacidades de seguimento de instruções como geração de ideias e texto, não presentes no modelo original, utilizando dados da Alpaca.

…Mostramos que qualquer pessoa pode pegar um modelo de linguagem grande (LLM) de código aberto e pronto para uso e dar a ele a habilidade mágica de seguir instruções semelhantes ao ChatGPT, treinando-o em 30 minutos em uma única máquina, usando dados de treinamento de alta qualidade.

Surpreendentemente, seguir instruções não parece requerer os modelos mais recentes ou maiores: o nosso modelo tem apenas 6 bilhões de parâmetros, em comparação com os 175 bilhões do GPT-3."

Databricks Open Source AI

Diz-se que a Dolly democratiza a IA. É parte de um movimento em crescimento, ao qual recentemente se juntou a organização sem fins lucrativos Mozilla com a fundação da Mozilla.ai. A Mozilla é a editora do navegador Firefox e de outros softwares de código aberto.