ChatGPT passa nos exames das escolas de direito e negócios

O ChatGPT é inteligente o suficiente para passar em exames de nível de pós-graduação de prestígio – embora não com notas particularmente altas.

A nova e poderosa ferramenta de chatbot de IA passou recentemente em exames de direito em quatro cursos na Universidade de Minnesota e em outro exame na Wharton School of Business da Universidade da Pensilvânia, de acordo com professores das escolas.

Para testar o quão bem o ChatGPT poderia gerar respostas nos exames para os quatro cursos, os professores da Faculdade de Direito da Universidade de Minnesota recentemente avaliaram os testes às cegas . Depois de responder a 95 questões de múltipla escolha e 12 questões dissertativas, o bot teve um desempenho médio no nível de um aluno C+, alcançando uma nota baixa, mas aprovada, em todos os quatro cursos.

O ChatGPT se saiu melhor durante um exame do curso de administração de empresas da Wharton, onde obteve nota B a B. Em um artigo detalhando o desempenho , Christian Terwiesch, professor de administração da Wharton, disse que o ChatGPT fez “um trabalho incrível” respondendo a questões básicas de gerenciamento de operações e análise de processos, mas teve dificuldades com prompts mais avançados e cometeu “erros surpreendentes” com matemática básica.

“Esses erros podem ser enormes em magnitude”, escreveu ele.

Os resultados do teste surgem quando um número crescente de escolas e professores expressam preocupações sobre o impacto imediato do ChatGPT nos alunos e sua capacidade de trapacear nas tarefas. Alguns educadores agora estão se movendo com velocidade notável para repensar suas atribuições em resposta ao ChatGPT, mesmo que ainda não esteja claro o quão difundido é o uso da ferramenta entre os alunos e o quão prejudicial pode realmente ser para o aprendizado.

Desde que foi disponibilizado no final de novembro, o ChatGPT tem sido usado para gerar ensaios originais, histórias e letras de músicas em resposta às solicitações do usuário. Ela elaborou resumos de trabalhos de pesquisa que enganaram alguns cientistas. Alguns CEOs até o usaram para escrever e-mails ou fazer trabalhos de contabilidade.

O ChatGPT é treinado em grandes quantidades de dados online para gerar respostas aos prompts do usuário. Embora tenha ganhado força entre os usuários, também levantou algumas preocupações, inclusive sobre imprecisões e seu potencial para perpetuar preconceitos e espalhar desinformação .

Jon Choi, um dos professores de direito da Universidade de Minnesota, disse que o objetivo dos testes era explorar o potencial do ChatGPT para auxiliar os advogados em sua prática e ajudar os alunos em exames, permitidos ou não por seus professores, porque as perguntas geralmente imitar a escrita que os advogados fazem na vida real.

“O ChatGPT lutou com os componentes mais clássicos dos exames da faculdade de direito, como identificar possíveis questões legais e uma análise profunda aplicando regras legais aos fatos de um caso”, disse Choi. “Mas o ChatGPT pode ser muito útil na produção de um primeiro rascunho que um aluno pode refinar.”

Ele argumenta que a colaboração humano-IA é o caso de uso mais promissor para o ChatGPT e tecnologia semelhante.

“Meu forte palpite é que os assistentes de IA se tornarão ferramentas padrão para advogados em um futuro próximo, e as faculdades de direito devem preparar seus alunos para essa eventualidade”, disse ele. “Claro, se os professores de direito quiserem continuar a testar a simples lembrança de regras e doutrinas legais, eles precisarão colocar restrições como proibir a internet durante os exames para impor isso.”

Da mesma forma, Terwiesch, da Wharton, descobriu que o chatbot era “notavelmente bom” em modificar suas respostas em resposta a dicas humanas, como retrabalhar respostas após apontar um erro, sugerindo o potencial para as pessoas trabalharem em conjunto com a IA.

No curto prazo, no entanto, o desconforto permanece sobre se e como os alunos devem usar o ChatGPT. As escolas públicas de Nova York e Seattle, por exemplo, já proibiram alunos e professores de usar o ChatGPT nas redes e dispositivos do distrito.

Considerando que o ChatGPT teve um desempenho acima da média em seu exame, Terwiesch disse que concorda que restrições devem ser impostas aos alunos enquanto eles estão fazendo os testes.

“As proibições são necessárias”, disse ele. “Afinal, quando você dá um diploma a um médico, você quer que ele saiba medicina, não como usar um bot. O mesmo vale para outras certificações de habilidades, incluindo direito e negócios.”

Mas Terwiesch acredita que essa tecnologia ainda tem um lugar na sala de aula. “Se tudo o que conseguirmos for o mesmo sistema educacional de antes, desperdiçamos uma oportunidade incrível que vem com o ChatGPT”, disse ele.