O ChatGPT pode passar no Exame da Ordem?

ChatGPT e o Exame da Ordem

O exame da Ordem é um teste rigoroso que avalia o conhecimento e a capacidade de raciocínio por meio de ensaios, testes práticos e questões de múltipla escolha. É um teste padronizado utilizado por muitas jurisdições dos Estados Unidos como parte do processo de admissão na Ordem dos Advogados. Ele consiste em três partes que avaliam o conhecimento do candidato sobre princípios de direito comum, habilidade de aplicar os princípios legais a situações factuais específicas e habilidade de concluir tarefas jurídicas.

Este exame é projetado para permitir que advogados sejam licenciados em vários estados sem terem que refazer o exame da Ordem para cada estado. A nota de aprovação é estabelecida por cada jurisdição e as notas do exame podem ser transferidas para as jurisdições de outros estados, sujeito às regras e requisitos de cada jurisdição.

GPT-3.5 e GPT-4, os grandes modelos de linguagem da OpenAI em que o ChatGPT é construído, têm a capacidade de realizar tarefas difíceis que requerem amplo conhecimento jurídico, compreensão de leitura e proficiência em escrita, a ponto de poderem atender ao padrão de advogados humanos em quase todas as jurisdições dos Estados Unidos. A Conferência Nacional de Examinadores de Ordem, responsável pela seção de múltipla escolha, observou que os advogados possuem habilidades únicas adquiridas por meio de educação e prática, que a inteligência artificial atualmente não consegue igualar.

Como o ChatGPT se saiu no Exame da Ordem?

No início deste ano, uma pesquisa conduzida por professores da Illinois Tech e da Faculdade de Direito do Michigan State, o ChatGPT 3.5 conseguiu obter uma taxa de aprovação em duas categorias do exame da ordem multijurisdicional (MBE) e obteve resultados semelhantes aos dos candidatos humanos em outra categoria, demonstrando sua compreensão geral do domínio jurídico. Em outra pesquisa conduzida pelos próprios pesquisadores da OpenAI, o ChatGPT teve um bom desempenho no exame da ordem e obteve uma pontuação no percentil 90 dessa pesquisa. Ele acertou quase 76% das questões de múltipla escolha, um aumento de 50% em relação ao ChatGPT, e superou o desempenho médio dos candidatos humanos em mais de 7%.

ChatGPT foi capaz de gerar respostas de teste de ensaio e desempenho que eram na maioria pertinentes e logicamente conectadas. O limite para passar no exame da ordem varia de estado para estado, e em Nova York, é necessário obter uma pontuação de 266, aproximadamente o percentil 50, para passar. Os resultados do ChatGPT sugerem que as capacidades de grandes modelos de linguagem se estendem a tarefas complexas que exigem conhecimento legal significativo, compreensão e habilidade de escrita. Esses modelos atendem ao referencial que se aplica a advogados humanos em quase todas as jurisdições nos EUA.

O ChatGPT passou no exame da Ordem?

ChatGPT passou no Exame Uniforme da Ordem dos Advogados.

Qual é a pontuação do exame da Ordem dos Advogados que representa o top 1%?

300 é aproximadamente o 90º percentil superior, enquanto uma pontuação de 330 está em torno do 1% superior.