Segurança em IA✦ Gerado por IA

Controles parentais falham contra apps 'nudify' impulsionados por IA

Um relatório exclusivo revela que falhas graves nas lojas da Apple e do Google permitem que menores de idade baixem ferramentas de criação de pornografia não consensual sem autorização dos pais.

Edição de ·The Guardian AI·5 min de leitura·
CompartilharWhatsAppXLinkedInFacebook
💡

Principal Aprendizado

As lojas de aplicativos dependem da autoclassificação dos desenvolvedores, permitindo que apps de pornografia por IA sejam rotulados como adequados para menores.

Uma investigação detalhada do grupo de defesa digital Tech Transparency Project, compartilhada com o veículo The Guardian, expôs uma vulnerabilidade crítica na segurança digital de menores. O estudo demonstrou que adolescentes nos Estados Unidos conseguem acessar e baixar aplicativos de inteligência artificial voltados para a criação de imagens de nudez, conhecidos como aplicativos de nudificação, mesmo quando ferramentas de controle parental estão ativadas. O relatório destaca que a facilidade de acesso a essas tecnologias está transformando o ambiente escolar em um cenário de abusos digitais.

O caso que impulsionou a discussão envolveu Morgan Dorfman, uma mãe da Pensilvânia, que descobriu que um colega de classe de sua filha utilizou o aplicativo Movely para gerar vídeos pornográficos falsos de seis estudantes. O episódio ilustra uma realidade crescente: o uso de ferramentas de edição de imagem por IA para criar material sexualmente explícito não consensual a partir de fotos comuns de redes sociais. Antes restrito a celebridades, o fenômeno das deepfakes agora atinge cidadãos comuns e estudantes, causando pânico e confusão entre as vítimas e suas famílias.

Falhas na moderação e classificação etária

Os pesquisadores do Tech Transparency Project criaram contas de teste simulando usuários de 13 anos nas plataformas da Apple e do Google. Ao buscarem termos como gerador de vídeo por IA ou IA adulta, conseguiram baixar 135 aplicativos com funcionalidades capazes de remover roupas de pessoas ou trocar rostos em corpos nus. A falha central reside no fato de que as gigantes de tecnologia dependem amplamente dos próprios desenvolvedores para classificar a idade apropriada de seus produtos. Isso permite que aplicativos com conteúdos altamente sugestivos sejam rotulados como adequados para crianças a partir de quatro anos.

Em um dos testes, um aplicativo de troca de rostos foi anunciado com a imagem de uma mulher realizando um ato sexual, mas mantinha uma classificação etária livre. A versão gratuita oferecia modelos de mulheres em roupas íntimas e, mediante pagamento, permitia o acesso a situações pornográficas explícitas. Surpreendentemente, os pesquisadores conseguiram assinar a versão paga através da conta de um menor de 13 anos sem que qualquer alerta fosse enviado para a conta parental vinculada, evidenciando uma brecha nos sistemas de monitoramento financeiro e de conteúdo.

A resposta das gigantes de tecnologia

Após ser questionada sobre as descobertas, a Apple implementou mudanças em suas diretrizes de moderação, exigindo que desenvolvedores previnam e removam proativamente imagens íntimas não consensuais. A empresa afirmou que revisa todos os aplicativos antes da publicação e que remove desenvolvedores que utilizam a tática de isca e troca, onde funcionalidades maliciosas são adicionadas após o processo de revisão inicial. A Apple também ressaltou que muitos aplicativos citados no relatório são ferramentas legítimas de edição que não possuem capacidades nativas de nudificação.

O Google, por sua vez, declarou que toma medidas proativas para detectar e remover conteúdos prejudiciais. Segundo o porta-voz da empresa, quando violações são detectadas, ações rápidas são tomadas, incluindo a suspensão de aplicativos e a restrição de termos de busca relacionados na loja. No entanto, o relatório do TTP reforça que, apesar das proibições oficiais, a proliferação desses aplicativos continua alta, desafiando as leis estaduais americanas que criminalizam a posse de material de abuso sexual infantil gerado por inteligência artificial.

O que isso muda para você

Para os profissionais brasileiros e pais conectados, este cenário revela que a confiança cega em filtros de lojas oficiais como App Store e Google Play é um risco real. A tecnologia de nudificação por IA avançou mais rápido do que a capacidade de curadoria humana das plataformas, o que significa que o monitoramento ativo do uso de dispositivos por menores não pode ser substituído apenas por configurações de software. É um lembrete de que a alfabetização digital agora deve incluir conversas sobre o consentimento de imagem e os perigos das deepfakes.

No mercado de trabalho e na educação, o impacto é uma demanda urgente por políticas de conformidade e ética digital. Empresas e escolas precisam estabelecer protocolos claros sobre como lidar com o assédio facilitado por IA. O próximo passo prático é revisar as permissões de download nos dispositivos da família e, mais importante, educar os jovens sobre como identificar e denunciar aplicativos que oferecem funcionalidades de manipulação corporal, tratando a imagem digital com o mesmo rigor ético que o contato físico.

📰 Com base em reportagem de The Guardian AI. Texto produzido com apoio de inteligência artificial, com curadoria e edição de Robson Benfica Conceição, com análise própria do que a notícia muda para quem trabalha no Brasil. Veja como produzimos.

📬 Newsletter Gratuita

As principais notícias de IA do dia, curadas por Robson Conceição. Grátis, todo dia no seu e-mail.

Gostou do conteúdo?

Compartilhe com quem também quer entender IA no trabalho.

CompartilharWhatsAppXLinkedInFacebook

Leia também