Riesgos de la inteligencia artificial: qué advierte Anthropic

¿Qué dijo un investigador de Anthropic sobre el riesgo de extinción por IA?

Un investigador senior de seguridad de Anthropic cree que hay más de 10% de probabilidad de que la inteligencia artificial termine con la humanidad en la próxima década. Lo dice Evan Hubinger, desde adentro de una de las empresas que más desarrolla estos sistemas, no desde afuera como crítico.

No está hablando de la IA que usás hoy en el celular para escribir un mail o resumir un PDF. Le preocupan las versiones futuras, las que puedan mejorarse a sí mismas mucho más rápido de lo que los humanos las puedan controlar. Esa es la parte que se le escapa de las manos a cualquiera, incluso a los que la están construyendo.

¿Quién es Evan Hubinger y por qué pesa que lo diga él?

Evan Hubinger no es un divulgador externo ni un periodista buscando un titular. Es investigador senior de seguridad en Anthropic, la empresa detrás de Claude. Trabaja todos los días adentro de una de las compañías que empuja el desarrollo de estos modelos hacia adelante.

Esa posición cambia el peso de la frase. Cuando un crítico externo dice "la IA es peligrosa", es una opinión. Cuando alguien con acceso directo al desarrollo real le pone un número a esa probabilidad, es una señal distinta. Y no está solo: otros investigadores y ex empleados de empresas de IA vienen pidiendo lo mismo, más cautela antes de seguir empujando sistemas cada vez más potentes.

¿En qué se diferencia esto de los riesgos de la IA que ya conocés?

La mayoría de lo que se lee sobre riesgos de la IA habla de problemas que ya están pasando: sesgo en decisiones automatizadas, pérdida de empleos en tareas repetitivas, vulnerabilidades de seguridad en aplicaciones que usan modelos de lenguaje. Son riesgos reales, medibles, acotados a un sector.

Lo que describe Hubinger es otra categoría. No es que la IA haga mal un trabajo puntual: es que una versión futura, capaz de mejorarse a sí misma, se vuelva imposible de controlar para cualquiera, incluso para quien la construyó. Conviene no mezclar ambas cosas al leer sobre el tema, como detalla Trend Micro sobre las vulnerabilidades técnicas de aplicaciones con modelos de lenguaje, que son un problema real pero distinto.

¿Quién frena esto si el que lo construye también advierte que puede acabar con todos?

Esa es la pregunta que queda flotando después de escuchar esta advertencia, y por ahora nadie tiene una respuesta cerrada. Decenas de líderes de la industria de la IA, académicos y figuras públicas ya firmaron una declaración del Center for AI Safety que recoge la Universidad de Chile, pidiendo tratar el riesgo de extinción por IA como prioridad mundial, al mismo nivel que pandemias y guerra nuclear.

Pero una carta firmada no es una regulación que ya esté frenando nada. Mientras ese debate avanza despacio a nivel global, la pregunta que realmente te sirve no es cuándo llega una ley, sino qué hacés vos hoy con una herramienta que su propia creadora admite que puede salirse de control.

¿Qué podés hacer vos hoy en tu negocio frente a esto?

No podés frenar una carrera tecnológica global desde tu escritorio. Pero sí podés dejar de confiarle a ciegas a una IA lo que te devuelve, que es el único control que tenés en tus manos ahora mismo.

En Claura aplicamos esa misma lógica de desconfianza estructurada en las herramientas de IA que configuramos con clientes: una regla fija para que el modelo diga "no sé" en vez de inventar un dato cuando no lo tiene con certeza. El paso a paso de cómo armar esa misma regla en ChatGPT está en cómo hacer que ChatGPT deje de mentirte, que es justamente lo que te prometimos por DM si comentaste TRUTH en el reel.

Si lo que te preocupa es un paso más allá, un agente que actúa solo sin que nadie revise lo que hace, la nota una IA se escapó de su propia prueba separa qué parte de ese riesgo ya está documentada y qué guardrails lo reducen. Y si querés ver el mismo criterio aplicado a un caso de negocio concreto, automatizar la atención al cliente con inteligencia artificial muestra qué conviene delegar y qué no, justamente para no depender de que una IA tenga siempre razón.

¿Qué conviene recordar sobre los riesgos de la inteligencia artificial?

• Un investigador senior de seguridad de Anthropic estima más de 10% de probabilidad de que la IA termine con la humanidad en la próxima década, hablando de versiones futuras, no de la IA que usás hoy.
• La advertencia pesa distinto porque viene de adentro de la propia empresa que construye estos sistemas, no de un crítico externo.
• Es un riesgo distinto al sesgo, la pérdida de empleo o las vulnerabilidades técnicas: esos ya están pasando, este es un riesgo de pérdida de control a futuro.
• Todavía no existe una regulación en funcionamiento que frene esto, solo declaraciones públicas pidiendo tratarlo como prioridad.
• El control que sí tenés hoy es no confiar a ciegas en lo que te devuelve una IA, revisando cada dato y obligándola a admitir cuando no sabe algo.

Si llegaste hasta acá desde el reel y comentaste TRUTH, la guía que te prometimos por DM es la de cómo hacer que ChatGPT deje de mentirte: el mismo principio de no confiar a ciegas, aplicado a algo que podés configurar hoy mismo en tu propia cuenta.