Nova ferramenta em teste no ChatGPT visa detectar sinais de extremismo e direcionar usuários a serviços de suporte especializado.
O ChatGPT está testando uma tecnologia capaz de identificar sinais de extremismo violento em usuários e encaminhá-los para atendimento especializado. A inovação, em desenvolvimento pela startup neozelandesa ThroughLine, combina inteligência artificial com suporte humano para reduzir riscos de violência.
A ThroughLine, contratada pela OpenAI — empresa responsável pelo ChatGPT — e outras gigantes como Google e Anthropic, já atua redirecionando usuários para redes de apoio em casos de crise, como automutilação, violência doméstica e transtornos alimentares. Agora, a empresa busca ampliar esse serviço para incluir a prevenção ao extremismo violento.
O projeto está sendo elaborado em parceria com o The Christchurch Call, uma iniciativa global contra o ódio online criada após um ataque terrorista na Nova Zelândia em 2019. A ferramenta funcionará em modelo híbrido, utilizando chatbots treinados para identificar sinais de extremismo e direcionar os usuários a serviços presenciais de saúde mental.
Segundo Elliot Taylor, fundador da ThroughLine, a tecnologia ainda está em fase de testes e não tem data prevista para lançamento. Ele destaca que o sistema não utiliza dados de treinamento comuns aos modelos de linguagem, mas conta com a colaboração de especialistas para garantir respostas adequadas e seguras.
Especialistas apontam que o sucesso da ferramenta depende da qualidade do acompanhamento oferecido após a detecção dos riscos. Além disso, Taylor ressalta que o suporte deve ser cuidadoso para não agravar situações delicadas, evitando bloqueios que podem levar usuários a buscar plataformas menos reguladas e sem suporte adequado.
Este avanço ocorre em meio a crescente pressão sobre empresas de inteligência artificial para evitar que suas plataformas sejam usadas para incitar violência, especialmente após casos que geraram críticas e ameaças de intervenção governamental, como no Canadá.