A Califórnia sancionou um pacote de projetos de lei sobre segurança infantil online em 10 de setembro, e um deles estabelece um precedente ao qual o resto do setor terá de responder.

Lei de Adam

SB 1119, de autoria do senador Steve Padilla com os deputados estaduais Buffy Wicks e Rebecca Bauer-Kahan, trata de chatbots de companhia com IA. A lei exige que os operadores implementem protocolos de crise em casos de ideação suicida, ofereçam controles parentais e enviem notificações caso uma criança desative as configurações de segurança.

A disposição que rompe terreno inédito é a de fiscalização. A lei é descrita como a primeira do país a exigir que empresas realizem auditorias independentes de segurança infantil e avaliações anuais de risco. Não uma autoavaliação, nem um relatório apresentado depois que algo dá errado.

O restante do pacote

Mais uma dezena de projetos de lei foram sancionados junto com ele. O SB 867 trata de brinquedos com chatbots de companhia, estendendo a mesma preocupação a produtos físicos voltados a crianças pequenas. O AB 1856 estabelece sinais de verificação de idade para aplicativos de software. O AB 1709 proíbe que plataformas de redes sociais ofereçam recursos de engajamento viciantes a usuários com menos de 16 anos. O AB 2 aumenta os danos que uma grande plataforma pode enfrentar quando sua conduta prejudica uma criança, e vítimas de deepfakes podem buscar reparação civil de até $250,000 por ação.

Por que a Califórnia importa além da Califórnia

Empresas raramente constroem um produto para a Califórnia e outro para o resto do mundo. Uma exigência de conformidade escrita em Sacramento tende a se tornar o padrão nacional, da mesma forma como as regras de privacidade e de emissões do estado funcionam há anos.

O que esperar

Se você desenvolve sobre uma plataforma de chatbot de companhia, ou lança algo com uma persona com a qual um menor possa conversar, a exigência de auditoria é o item de linha para o qual é preciso se planejar. Trata-se de um custo externo recorrente, não um exercício de conformidade pontual, e recai sobre os operadores, e não sobre o provedor do modelo por trás.

Para todos os demais, o sinal útil é que os reguladores deixaram de tratar chatbots como software genérico e passaram a tratar produtos de companhia como uma categoria própria, com deveres próprios.