O ChatGPT fez um exame de MBA. Aqui está como ele fez

Um professor da Wharton, Universidade da Pensilvânia, deu nota B teórica para o ChatGPT depois de corrigir as respostas geradas para um exame final em um curso típico de MBA.

Christian Terwiesch, professor de gerenciamento de operações da Wharton, disse que o ChatGPT faz um "trabalho incrível em questões básicas de gerenciamento de operações e análise de processos".

"Não apenas as respostas estão corretas, mas as explicações são excelentes", ele escreve em um novo white paper.

Também: Como começar a usar o ChatGPT

Mas ele acrescentou que o chatbot comete "erros surpreendentes em cálculos relativamente simples no nível de matemática da 6ª série" e que atualmente não pode lidar com questões de análise de processo mais avançadas. Por outro lado, a versão atual do ChatGPT pode modificar suas respostas em resposta a dicas humanas para chegar à solução correta.

"Considerando esse desempenho, o Chat GPT3 teria recebido uma nota de B a B no exame", escreve Terwiesch.

Várias das perguntas de Terwiesch visavam testar se o ChatGPT poderia identificar um gargalo em uma operação de processamento com várias máquinas com diferentes capacidades de processamento.

O ChatGPT, no entanto, "cometeu um erro significativo de grande magnitude" ao calcular com aritmética de nível médio.

Curiosamente, o ChatGPT inicialmente respondeu incorretamente a uma das perguntas de Terwiesch sobre a análise de filas. Ele solicitou uma dica para uma resposta melhor e o ChatGPT melhorou sua resposta. No dia seguinte, o professor fez a mesma pergunta inicial da fila sem a dica - e o ChatGPT respondeu corretamente na primeira tentativa.

"Ou é capaz de aprender com o feedback passado ou simplesmente tive sorte", observa ele, acrescentando que parecia haver alguma aleatoriedade na qualidade de suas respostas.

Terwiesch também descobriu que o ChatGPT era capaz de formular perguntas inteligentes e bem-humoradas que ele poderia usar em exames futuros. No entanto, o chatbot também apresentou falhas sutis em algumas perguntas que as tornavam impossíveis de responder.

Além disso: ChatGPT 'faltava profundidade e percepção', dizem editores de revistas científicas de prestígio

Terwiesch alerta os outros para estarem atentos às capacidades e limitações do ChatGPT. Ele diz que "se apaixonou" pelo ChatGPT depois de ler sua resposta à sua primeira pergunta, mas adverte que "cometeu grandes erros em algumas situações bastante simples".

“Ainda estamos longe de ser um A+ para problemas complexos e ainda precisamos de um humano no circuito”, escreve ele.

"Na minha visão de educação, um aluno do ensino fundamental ainda precisa aprender que 7 x 7 = 49 e que a capital da Pensilvânia é Harrisburg, embora as calculadoras sejam amplamente usadas há mais de 50 anos e os alunos possam usar o Google Wikipedia para encontrar respostas para a maioria das questões factuais. É da natureza das habilidades fundamentais que elas sejam necessárias para compreender tópicos mais avançados."

Terwiesch concorda que os educadores devem se preocupar com o fato de alunos do ensino fundamental e médio usarem o ChatGPT para trapacear em tarefas e exames. Por exemplo, o Departamento de Educação da cidade de Nova York baniu recentemente o chatbot porque testes confiáveis são importantes no ensino, enquanto a certificação de habilidades não deve ser comprometida por causa de novas tecnologias. Um aluno que usa o ChatGPT é como poder ligar para um amigo com "competência acadêmica média" para fazer o exame para ele, observa.

Mas ele também argumenta que o ChatGPT e tecnologias semelhantes têm a capacidade de desempenhar o papel de um "consultor inteligente" - aquele que produz respostas elegantes, mas muitas vezes erradas, que ele acredita ser o "campo de treinamento perfeito" para desenvolver habilidades entre alunos de MBA que precisam avaliar criticamente as alternativas sugeridas.