Nova ferramenta em teste combina chatbots e atendimento humano para ajudar usuários em risco de extremismo violento.
O ChatGPT está testando uma tecnologia que identifica sinais de extremismo violento em usuários e os direciona para suporte especializado. O projeto, em desenvolvimento na Nova Zelândia, une recursos de inteligência artificial e atendimento humano para reduzir riscos relacionados a comportamentos agressivos.
A iniciativa é liderada pela startup ThroughLine, que atua em parceria com a OpenAI, proprietária do ChatGPT, além de colaborar com outras empresas do setor, como Anthropic e Google. A empresa já possui uma rede global de 1.600 linhas de apoio em 180 países, focada em crises como automutilação, violência doméstica e transtornos alimentares.
O fundador da ThroughLine, Elliot Taylor, que tem experiência como assistente social, destaca que o serviço poderá ser ampliado para a prevenção do extremismo violento. A startup está em contato com o The Christchurch Call, uma coalizão internacional que combate o ódio online e foi criada após um ataque terrorista na Nova Zelândia em 2019. Juntos, eles trabalham para desenvolver um chatbot que possa intervir em situações de risco, oferecendo encaminhamento para serviços presenciais.
O sistema híbrido combina respostas automáticas treinadas especificamente para lidar com sinais de extremismo e o encaminhamento para atendimento humano local. Taylor ressalta que o desenvolvimento não utiliza dados básicos de modelos de linguagem, mas conta com a orientação de especialistas para garantir eficácia e segurança.
Consultores e pesquisadores destacam a importância da ferramenta para moderação em ambientes digitais, como fóruns de jogos e redes sociais, onde o extremismo pode se proliferar. A eficácia do projeto depende do suporte oferecido após a detecção, incluindo cuidados para evitar que intervenções precipitem comportamentos mais agressivos.
Além disso, Taylor alerta que bloquear usuários envolvidos em conversas delicadas pode agravar a situação, pois pessoas em crise frequentemente compartilham conteúdos que não revelariam pessoalmente. O desafio está em equilibrar a moderação com a oferta de ajuda adequada, evitando que usuários migrem para plataformas menos reguladas, onde o controle é menor.