Las personas que muestren tendencias extremistas violentas en ChatGPT serán derivadas a un servicio de apoyo a la desradicalización, a cargo de personas y chatbots, a través de una nueva herramienta que se está desarrollando en Nueva Zelanda, según han informado sus creadores.
La iniciativa es un nuevo intento de abordar las preocupaciones en materia de seguridad ante el creciente número de demandas que acusan a las empresas de inteligencia artificial de no impedir, e incluso de facilitar, la violencia.
OpenAI fue amenazada con una intervención del Gobierno canadiense en febrero tras revelar que una persona que llevó a cabo un tiroteo mortal en un colegio había sido expulsada de la plataforma sin que se informara a las autoridades.
Este contenido se hizo gracias al apoyo de la comunidad de El Destape. Sumate. Sigamos haciendo historia.
ThroughLine, una empresa emergente contratada en los últimos años por OpenAI, propietaria de ChatGPT, así como por sus competidores Anthropic y Google , para redirigir a los usuarios a servicios de apoyo en situaciones de crisis cuando se les identifica como personas en riesgo de autolesión, violencia doméstica o un trastorno alimentario, también está explorando formas de ampliar su oferta para incluir la prevención del extremismo violento, según ha declarado su fundador y antiguo trabajador social con jóvenes, Elliot Taylor.
La empresa está en conversaciones con The Christchurch Call, una iniciativa para erradicar el odio en internet formada tras el peor atentado terrorista de Nueva Zelanda en 2019, en la que el grupo antiextremista ofrecería orientación mientras ThroughLine desarrolla el chatbot de intervención, según explicó el antiguo trabajador social.
"Es algo hacia lo que nos gustaría avanzar y hacer un mejor trabajo de cobertura para luego poder apoyar mejor a las plataformas", dijo Taylor en una entrevista, y agregó que no se ha fijado ningún plazo.
OpenAI confirmó la relación con ThroughLine, pero se negó a hacer más comentarios. Anthropic y Google no respondieron de inmediato a las solicitudes de comentarios.
La empresa de Taylor, que dirige desde su casa en una zona rural de Nueva Zelanda, se ha convertido en un referente para las empresas de IA gracias a su oferta de una red constantemente supervisada de 1.600 líneas de ayuda en 180 países.
Una vez que la IA detecta indicios de una posible crisis de salud mental, deriva al usuario a ThroughLine, que le conecta con un servicio gestionado por personas disponible en las cercanías.
Sin embargo, el alcance de ThroughLine se ha limitado a categorías específicas, según el fundador. La variedad de problemas de salud mental que las personas revelan en internet se ha disparado con la popularidad de los chatbots de IA, y ahora incluye acercamientos al extremismo, añadió.
MÁS CHATBOTS, MÁS PROBLEMAS
La herramienta contra el extremismo probablemente sería un modelo híbrido que combinara un chatbot entrenado para responder a personas que muestran síntomas de extremismo y derivaciones a servicios de salud mental del mundo real, dijo Taylor.
"No estamos utilizando los datos de entrenamiento de un LLM básico", dijo, refiriéndose a los conjuntos de datos genéricos que utilizan las plataformas de modelo de lenguaje de gran tamaño (LLM) para formar textos coherentes. "Estamos trabajando con los expertos adecuados". La tecnología se encuentra actualmente en fase de pruebas, pero no se ha fijado una fecha para su lanzamiento.
Galen Lamphere-Englund, asesor antiterrorista en representación de The Christchurch Call, dijo que esperaba lanzar el producto para moderadores de foros de videojuegos y para padres y cuidadores que quieran erradicar el extremismo en internet.
Una herramienta de redireccionamiento de chatbots era "una idea buena y necesaria porque reconoce que el problema no es solo el contenido, sino la dinámica de las relaciones", dijo Henry Fraser, investigador de IA de la Universidad Tecnológica de Queensland.
El éxito del producto puede depender de cuestiones como "la eficacia de los mecanismos de seguimiento y la calidad de las estructuras y relaciones a las que dirigen a las personas para abordar el problema", señaló.
Taylor señaló que las funciones de seguimiento, incluidas posibles alertas a las autoridades sobre usuarios peligrosos, aún estaban por determinar, pero que tendrían en cuenta cualquier riesgo de provocar una escalada de comportamiento.
Señaló que las personas en situación de angustia tienden a compartir en internet cosas que les da demasiada vergüenza decir a otra persona, y que los gobiernos corren el riesgo de agravar el peligro si presionan a las plataformas para que bloqueen a los usuarios que participan en conversaciones delicadas.
El aumento de la moderación asociada a la militancia por parte de las plataformas, bajo la presión de las fuerzas del orden, ha llevado a los simpatizantes a recurrir a alternativas menos reguladas como Telegram, según un estudio de 2025 del Stern Center for Business and Human Rights de la Universidad de Nueva York.
"Si hablas con una IA y le cuentas la crisis y esta cierra la conversación, nadie sabe lo que ha pasado, y esa persona podría seguir sin recibir apoyo", dijo Taylor.
Con información de Reuters
Cerrar sesión