A Texas Education Agency (TEA) está testando a Inteligência Artificial Generativa (Gen AI) em seu sistema de pontuação. A nova técnica de pontuação empregará chatbots como o ChatGPT da OpenAI para entender e se comunicar com os usuários.
O Texas contratará muito menos avaliadores humanos este ano, pois os substituirá por um novo sistema de pontuação alimentado por inteligência artificial. Os exames de Avaliação de Prontidão Acadêmica do Estado do Texas (STAAR) poderiam ser um teste para substituir a maioria dos avaliadores humanos pela Geração AI.
Texas treina sistema de pontuação Gen AI para substituir avaliadores humanos
A Agência de Educação do Texas supostamente confirmou que sim, “implementando um mecanismo de pontuação automatizado para perguntas abertas sobre a Avaliação de Prontidão Acadêmica do Estado do Texas para leitura, redação, ciências e estudos sociais”.
Os exames obrigatórios do estado do Texas deste ano serão históricos. Os alunos que farão os exames STAAR esta semana terão muito menos avaliadores humanos do que no ano passado. Um mecanismo de processamento de linguagem natural, comumente chamado de IA generativa, avaliará a maioria das suas respostas.
O teste STAAR mede a compreensão dos alunos sobre o currículo básico exigido pelo estado. O estado do Texas o redesenhou no ano passado. Curiosamente, o exame agora tem muito menos questões de múltipla escolha. O Texas as substituiu por “perguntas abertas” ou “itens de resposta construídos”.
O Texas está implementando um “mecanismo de pontuação automatizado” para pontuar no exame STAAR. A tecnologia, que utiliza processamento de linguagem natural, um componente central dos chatbots de IA, economizará ao estado entre US$ 15 milhões e US$ 20 milhões. Mas alguns educadores estão preocupados.
Anúncio
Novo em @TexasTribune https://t.co/Tu36tmF5B7
-Keaton Peters (@KeatonPeters) 10 de abril de 2024
De acordo com Arquibancada do Texasas perguntas abertas recentemente introduzidas teriam “seis a sete vezes mais itens de resposta construídos”.
Simplificando, estas questões abertas têm várias respostas aceitáveis, em comparação com uma única resposta numa questão de múltipla escolha. Como resultado, estes tipos de questões levam muito mais tempo e mais avaliadores para avaliar, disse José Ríos, diretor de avaliação de alunos da Texas Education Agency.
Em outras palavras, essas questões aumentam significativamente a complexidade da classificação. E é aqui que a Geração AI realmente brilha. Plataformas como ChatGPT têm um histórico comprovado de resposta a consultas complexas em vários níveis de simplicidade e profundidade.
Texas estima que a Geração AI economizará entre 15 e 20 milhões de dólares por ano
O TEA treinou o sistema de pontuação Gen AI usando 3.000 respostas. Como medida de segurança, a Geração AI está exposta a respostas que passaram por duas rodadas de pontuação humana. O mecanismo de pontuação de IA supostamente aprendeu as características das respostas e está programado para atribuir as mesmas pontuações que um ser humano teria dado.
As crianças do Texas que fizerem o teste STAAR serão aparentemente pontuadas por uma IA. Se você não concordar com a pontuação do seu filho, ele ficará feliz em reavaliá-la com um avaliador humano, por US$ 50.#STAAR#Texashttps://t.co/6Qr36uCYaU
– não, isso é apenas sopa para minha família🐀 (@SeanxTyler) 10 de abril de 2024
Os avaliadores humanos reavaliarão um quarto de todos os resultados avaliados por computador. Além disso, algumas respostas que podem confundir o sistema de pontuação da IA, como jargões ou respostas que não sejam em inglês, seriam repassadas aos avaliadores humanos.
A TEA estimou que economizará entre US$ 15 milhões e US$ 20 milhões anualmente, reduzindo a necessidade de avaliadores humanos temporários. Estatisticamente falando, o Texas planeja contratar menos de 2.000 avaliadores humanos este ano. Em 2023, o Lone Star State contratou cerca de 6.000 testadores para o mesmo exame. Escusado será dizer que vários educadores expressaram preocupações sobre a nova técnica de avaliação.
A era digital surgiu no Texas #STAAR prova. Em dezembro de 2023, vieram à tona os resultados das primeiras respostas escritas avaliadas por computador. Com o novo sistema de classificação, 79% dos avaliadores obtiveram nota zero. Apenas 8% dos avaliadores obtiveram zero em um teste anterior com avaliadores humanos.#TxEd pic.twitter.com/Kwj7FYUh16
– RaiseYourHandTexas (@RYHTexas) 10 de abril de 2024
