Shauna D. A. Knox*, fundadora do The Emancipation Group, para o The Hechinger Report, no EUA | Por 15 anos, permitimos que as crianças levassem celulares para a maioria de nossas salas de aula. Quando os estados começaram a proibir o uso dos aparelhos, uma geração já havia passado a infância inundada por telas. Tínhamos protegido tudo nesse arranjo, exceto as próprias crianças.

Da mesma forma, durante a ascensão da internet comercial, elaboramos regras para proteger a privacidade das plataformas e das pessoas que lucravam com elas. As proteções que criamos posteriormente para as crianças, como a regra de que um site deve obter a permissão dos pais antes de coletar os dados de uma criança, nunca teriam sido capazes de compensar o terreno que já havíamos cedido.

Como especialista no tema do tráfico de pessoas e da exploração do trabalho infantil no Departamento de Educação dos Estados Unidos, observei sistemas que haviam sido criados para proteger as crianças, mas que, na verdade, acabavam protegendo a privacidade das pessoas que as prejudicavam. Esse fracasso me ensinou que as barreiras de proteção que deixamos de construir desde o início são proteções que perdemos para sempre.

Agora, estamos vendo as empresas de inteligência artificial correrem para estabelecer regras aplicáveis que protejam seus interesses. Já vimos isso antes: se o padrão se mantiver, as proteções do setor que estabelecem o precedente não serão substituídas pelas proteções às crianças que vierem a seguir. Desta vez, as proteções às crianças precisam vir em primeiro lugar.

Acredito que nenhuma ferramenta de IA que ensine, avalie ou monitore uma criança deva ser elegível para um contrato com um distrito escolar até que seja aprovada em um teste de preconceito elaborado com base nos mesmos alunos que já foram prejudicados por ferramentas digitais no passado.

 

Leia: Luiz Antonio Simas: reencantar o processo de aprendizagem

 

No ano passado, um estudo sobre assistentes de IA utilizados por professores constatou que eles recomendavam abordagens mais severas para alunos com dificuldades cujos nomes indicavam que eram negros. Um estudo separado revelou que um sistema de correção por IA atribuía notas mais baixas às redações de alunos negros do que às de alunos asiáticos, reproduzindo uma disparidade já presente na avaliação feita por humanos.

Nenhum desses preconceitos precisa afetar uma criança, pois os distritos já dispõem de meios para detectá-los. A maioria dos distritos já realiza uma verificação de privacidade antes de adquirir uma tecnologia: eles verificam se uma ferramenta digital manterá os dados da criança privados e seguros; uma ferramenta que não passar nessa verificação não deve ser comprada. O teste de preconceito poderia ser realizado dentro dessa mesma verificação. Para testar uma ferramenta quanto a preconceitos, um avaliador fornece a ela trabalhos de alunos quase idênticos, alterando apenas o nome em cada amostra e o contexto e os padrões de linguagem que a própria redação sinaliza, e compara como a ferramenta responde. Um avaliador também examina o que a ferramenta ensina aos alunos sobre as pessoas: quais estereótipos ela repete e de quem ela conta a história por completo.

 

 

Uma ferramenta que não for aprovada em qualquer uma dessas verificações deve perder sua elegibilidade. O que torna uma ferramenta segura para as crianças em maior risco a torna segura para todas as crianças.

Quase todos os estados tomaram medidas para regulamentar a IA de alguma forma, e alguns deles promulgaram leis sobre chatbots com o objetivo de proteger as crianças. A Califórnia exige que um chatbot informe à criança que está utilizando IA e a lembre de fazer pausas regulares. O estado de Nova York exige que os chatbots detectem indícios de pensamentos suicidas e encaminhem o usuário a serviços de atendimento a crises.

 

Leia: O futuro da educação é low-tech

 

Essas são mudanças positivas, mas a criança protegida ao interagir com a IA em casa não conta com proteções comparáveis na escola. Apenas alguns estados aprovaram leis que orientam suas secretarias de educação e distritos escolares a gerenciar ferramentas de IA. Em Oklahoma, por exemplo, um educador deve revisar qualquer conteúdo gerado por uma ferramenta de IA antes que ele chegue à sala de aula, e nenhuma ferramenta de IA pode se tornar a base principal para uma decisão sobre nota, aprovação ou reprovação.

A lei de Oklahoma vai além da maioria. Normalmente, quando uma dessas leis é aprovada, ela é pouco mais do que uma orientação preliminar que instrui as secretarias e os distritos a desenvolverem suas próprias políticas.

Neste mês, a cidade de Nova York proibiu alunos até a 8ª série de usar IA generativa, e o Distrito Escolar Unificado de Los Angeles impediu todos os alunos de usar IA generativa em dispositivos do distrito, incluindo os assistentes de IA integrados ao Google Classroom, que quase todas as escolas americanas utilizam. Eles proibiram o que não puderam testar. A proibição da cidade de Nova York tem duração de um ano, e a cidade dedicará esse período à análise de todas as ferramentas tecnológicas em suas escolas. Essa análise é o que todo distrito deveria realizar antes que uma ferramenta chegue às mãos de um aluno. Uma proibição ganha tempo, mas não indica ao distrito quais ferramentas são seguras, além de retirar ferramentas úteis junto com as prejudiciais.

Mesmo a lei mais precisa não será suficiente para proteger uma criança. Uma lei é apenas uma promessa antes de ser aplicada. O distrito escolar deve cumprir essa promessa examinando cada ferramenta antes de comprá-la e novamente enquanto as crianças a utilizam. Mesmo sem novas leis, todo distrito tem o dever legal de zelar pela segurança de cada criança; no entanto, quase nenhum distrito possui equipe, treinamento ou tecnologia para cumprir esse dever.

 

Leia: A inteligência artificial chegou à escola. Mas quem está formando o professor?

 

As verificações de privacidade que a maioria dos distritos escolares realiza atualmente não testam as ferramentas quanto a preconceitos: nenhum estado exige que os distritos façam isso, e nenhuma lei obriga as empresas a divulgar preconceitos encontrados em sua IA.

Mas essas verificações, que se limitam a perguntar se uma ferramenta protege os dados de uma criança, não conseguem determinar se uma ferramenta desenvolvida com base em um grande modelo de linguagem é segura para uma criança. Esse modelo de IA subjacente pode tratar uma criança de maneira diferente, mesmo que a raça nunca seja mencionada explicitamente, pois é capaz de inferir a raça a partir do nome da criança, do bairro onde mora, da escola que frequenta, do idioma falado em casa ou do estilo de escrita. Essas são as pistas mais óbvias; é improvável que uma lista de verificação padrão consiga identificar as mais sutis. Diante do escrutínio público, as empresas que desenvolveram esses modelos tornaram o preconceito mais difícil de detectar. Elas treinaram os modelos para que deixassem de dizer coisas explicitamente preconceituosas, mas não removeram o preconceito em si.

Quando os pesquisadores forneceram aos modelos de IA amostras de redação no dialeto que muitos afro-americanos falam em casa, os modelos não fizeram comentários negativos sobre os negros, mas julgaram os próprios autores como menos inteligentes e os associaram a trabalhos de menor prestígio. É por isso que nenhuma ferramenta deve manter sua elegibilidade sem ser testada novamente enquanto os alunos a utilizam. Esses sistemas sofrem alterações após serem comercializados.

Embora uma verificação de privacidade não detecte esse viés, até recentemente havia uma proteção após a verificação: uma ferramenta tendenciosa ainda poderia ser retirada das escolas se provas estatísticas mostrassem que ela estava prejudicando um grupo de crianças mais do que outro. O Departamento de Educação dos EUA retirou recentemente a regra que tornava isso possível. Agora, seu Escritório de Direitos Civis só agirá quando alguém puder provar que uma escola ou distrito teve a intenção de discriminar. A prova de que crianças de uma raça estão sendo prejudicadas mais do que outra não será mais suficiente, e a ferramenta permanecerá na sala de aula.

Ninguém tem a intenção de que haja viés nessas ferramentas: os modelos o absorvem da internet da qual aprendem. Os danos aparecem apenas nos padrões que indicam quais crianças recebem menos ensino, obtêm notas mais baixas e são identificadas como tendo dificuldades.

Mais uma vez, tudo nesse acordo está protegido — exceto as crianças.

*Shauna D. A. Knox é fundadora e CEO do The Emancipation Group, um estúdio de inovação que combina pesquisa e desenvolvimento com a criação de produtos digitais para garantir que crianças e famílias negras alcancem autonomia 

*Este artigo foi escrito para o The Hechinger Report, uma organização de notícias independente e sem fins lucrativos que cobre educação nos Estados Unidos.

 

Revista Educação: referência há mais de 30 anos em reportagens jornalísticas e artigos exclusivos para profissionais da educação básica