Pode o ChatGPT passar no Exame da Ordem dos Advogados?

ChatGPT e o exame da Ordem dos Advogados

O exame de ordem é um teste rigoroso que avalia o conhecimento e a capacidade de raciocínio por meio de redações, testes práticos e perguntas de múltipla escolha. É um teste padronizado utilizado por muitas jurisdições dos Estados Unidos como parte do seu processo de admissão na ordem dos advogados. Ele consiste em três partes que avaliam o conhecimento do candidato sobre princípios do direito comum, habilidade de aplicar os princípios legais a situações específicas e habilidade de realizar tarefas legais.

Este exame pretende permitir que advogados sejam licenciados em múltiplos estados sem ter que refazer o exame da Ordem em cada estado. A nota de aprovação é definida por cada jurisdição, e as notas do exame podem ser transferidas para outras jurisdições estaduais, sujeito às regras e requisitos de cada jurisdição.

GPT-3.5 e GPT-4, os grandes modelos de linguagem da OpenAI em que o ChatGPT é construído, têm a capacidade de realizar tarefas difíceis que necessitam de um extenso conhecimento jurídico, compreensão de leitura e proficiência em escrita, ao ponto de poderem corresponder ao padrão de advogados humanos em quase todas as jurisdições dos EUA. A Conferência Nacional de Examinadores de Advogados, que criou a secção de escolha múltipla, notou que os advogados possuem habilidades únicas que são adquiridas através de estudo e prática, as quais a inteligência artificial atualmente não consegue igualar.

Como se saiu o ChatGPT no Exame da Ordem dos Advogados?

No início deste ano, uma pesquisa realizada por professores da Illinois Tech e da Faculdade de Direito do Michigan State mostrou que o ChatGPT 3.5 obteve um índice de sucesso em duas categorias do exame de múltipla escolha (MBE) e teve um desempenho semelhante aos dos candidatos humanos em outra categoria, demonstrando sua compreensão geral do campo jurídico. Em outra pesquisa conduzida pelos próprios pesquisadores da OpenAI, o ChatGPT teve um bom desempenho no exame da ordem e obteve uma pontuação no percentil 90, respondendo corretamente a quase 76% das perguntas de múltipla escolha, um aumento em relação aos 50% anteriores, superando assim a média dos candidatos humanos em mais de 7%.

O ChatGPT foi capaz de gerar respostas de ensaio e teste de desempenho que eram principalmente pertinentes e logicamente conectadas. O limite para passar no exame da Ordem varia de estado para estado e, em Nova York, uma pontuação de 266, aproximadamente no 50º percentil, é necessária para passar. Os resultados do ChatGPT sugerem que as capacidades dos grandes modelos de linguagem se estendem a tarefas complexas que exigem conhecimento jurídico significativo, compreensão e habilidade de escrita. Esses modelos atendem ao padrão que se aplica a advogados humanos em quase todas as jurisdições nos EUA.

O ChatGPT passou num exame de advocacia?

ChatGPT passou no Exame de Barra Uniforme.

Qual é a pontuação de topo de 1% no exame da ordem?

300 é aproximadamente o percentil 90º superior, enquanto uma pontuação de 330 está em torno do top 1%.