AI KID
RE/MAX Patagon
Mateo Caño
Comentaste TRUTH en el reel y te prometimos por DM una guía sobre seguridad en inteligencia artificial. Esta es esa guía: la historia completa de dos investigadores de Anthropic que renunciaron en 2026 advirtiendo que la empresa podría perder el control de sus propios sistemas sin que nadie se entere, qué piden en concreto, y qué significa para alguien que no trabaja en un laboratorio de IA.
#¿Por qué Joe Benton renunció al equipo de seguridad de Anthropic?
Joe Benton lideraba el equipo de Scalable Oversight, parte del área de seguridad de Anthropic, la empresa detrás de Claude. En un posteo público en X contó que dejó ese equipo después de llegar a una conclusión incómoda: las empresas de IA están subinvirtiendo en seguridad mientras compiten por construir sistemas mucho más inteligentes que cualquier humano.
Benton no habló desde afuera. Trabajaba todos los días adentro de uno de los laboratorios que más empuja el desarrollo de estos modelos. Dijo que quiere seguir trabajando en el mismo problema, pero desde afuera de la empresa que tiene el incentivo de mostrar sus propios sistemas como seguros.
#¿Qué dijo Jacob Coxon al dejar Anthropic semanas después?
Jacob Coxon trabajó casi tres años en investigación de pretraining, primero en OpenAI y después en Anthropic. Renunció en setiembre de 2026, dos meses antes de que le vistiera su equity, una decisión que tiene un costo económico directo y que por eso pesa más como señal.
Coxon escribió que la gente que construye IA cree de verdad que podría matarnos a todos antes de que termine la década, según detalló Time. Su punto no es que la IA nos odie como en una película de ciencia ficción: es que un sistema autónomo persiguiendo un objetivo mal definido puede actuar en contra de los intereses humanos sin ninguna intención maliciosa de fondo.
| Investigador | Por qué se fue | Qué pide |
|---|---|---|
| Joe Benton | Las empresas de IA subinvierten en seguridad frente al ritmo de la carrera por capacidad | Evaluaciones independientes, como las de METR, en vez de autoevaluación |
| Jacob Coxon | Ninguna de las dos empresas donde trabajó actúa con responsabilidad frente al riesgo | Frenar el ritmo de desarrollo hasta tener más certeza sobre los riesgos |
#¿Qué significa perder el control de un sistema de IA sin que el público se entere?
Es el riesgo central que describió Benton: una empresa podría perder el control de sus sistemas, o tener un salto repentino de capacidad, sin que nadie afuera se enterara nunca. No existe hoy un organismo externo que audite en tiempo real lo que pasa adentro de un laboratorio de IA.
La única fuente de esa información, por ahora, es la propia empresa que tiene el incentivo de minimizarla si algo sale mal. Es una falla de diseño del sistema completo, no una sospecha sobre una empresa en particular.
#¿Qué son las evaluaciones independientes de riesgo y qué es METR?
METR es una organización sin fines de lucro que evalúa modelos de IA de punta para informar al público sobre sus riesgos y capacidades, sin depender de lo que reporta la propia empresa que construyó el modelo. No recibe financiamiento de las empresas de IA que evalúa.
Benton anunció que se suma a METR justo después de dejar el equipo de seguridad de Anthropic. Es una idea parecida a la de un auditor externo en cualquier otra industria regulada: alguien sin el incentivo de mostrar el producto como mejor de lo que es.
#¿Qué podés hacer vos hoy si tu negocio ya usa IA, sin tener un laboratorio propio?
No podés auditar un modelo de lenguaje como lo hace METR, pero sí podés aplicar el mismo criterio de fondo a menor escala: definir con claridad qué puede decidir un agente de IA solo y qué siempre tiene que pasar a una persona, antes de que algo salga mal, no después.
En automatizar la atención al cliente con inteligencia artificial mostramos ese criterio aplicado a casos reales: separar por volumen y riesgo en vez de automatizar todo por igual, y dejar afuera de la automatización cualquier decisión con impacto real o sensibilidad alta. Es la misma lógica que pide Benton a escala de laboratorio, aplicada a la escala de tu negocio.
Si lo que te preocupa es el caso más extremo, un sistema que actúa sin ese límite definido, riesgos de la inteligencia artificial según Anthropic explica qué controles sí tenés en tus manos hoy, incluso si no podés frenar una carrera tecnológica global desde tu escritorio.
#¿Qué conviene recordar sobre la seguridad en inteligencia artificial?
- Joe Benton, que lideraba seguridad en Anthropic, renunció advirtiendo que las empresas de IA subinvierten en seguridad frente al ritmo de la carrera.
- Jacob Coxon renunció a Anthropic dos meses antes de que le vistiera su equity, diciendo que ninguna empresa de IA actúa con responsabilidad.
- El riesgo central es perder el control de un sistema sin que el público se entere, porque hoy no hay un auditor externo en tiempo real.
- Benton se sumó a METR para hacer evaluaciones independientes en vez de depender de la autoevaluación de cada empresa.
- El control que sí tenés en tu negocio hoy es definir de antemano cuándo un agente de IA frena y pasa a una persona, no asumir que avisa solo.
Esta es la guía completa de seguridad en inteligencia artificial que te prometimos por DM. Si te quedaste pensando en qué hacer con tus propios agentes de IA, automatizar la atención al cliente con inteligencia artificial es el siguiente paso práctico.
Quiero aplicar a mi caso la guía "Por qué los ingenieros de seguridad dejan Anthropic" de Claura. Guía: https://claura-ai.com/resources/por-que-los-ingenieros-de-seguridad-dejan-anthropic Mi caso: [a qué me dedico, qué herramientas uso y qué quiero lograr] La guía cubre: - ¿Por qué Joe Benton renunció al equipo de seguridad de Anthropic? - ¿Qué dijo Jacob Coxon al dejar Anthropic semanas después? - ¿Qué significa perder el control de un sistema de IA sin que el público se entere? - ¿Qué son las evaluaciones independientes de riesgo y qué es METR? - ¿Qué podés hacer vos hoy si tu negocio ya usa IA, sin tener un laboratorio propio? Lee la guía (si no puedes abrir el link, trabaja con los temas de arriba). Si te falta información sobre mi caso, hazme hasta 3 preguntas antes de empezar. Después arma un plan para aplicar la guía paso a paso a mi caso y dime qué puedo hacer hoy en menos de una hora.
Cópialo y pégalo en tu agente: te pregunta lo que le falta de tu caso y arma el plan con los pasos de esta guía. ¿Prefieres que lo armemos nosotros? Agenda una llamada.
También te puede interesarValidar teléfonos, mails e IPs: el nicho SEO que armó un negocio sin fama?Preguntas frecuentes sobre seguridad en inteligencia artificial
¿Por qué renunció Joe Benton al equipo de seguridad de Anthropic?
Joe Benton lideraba el equipo de Scalable Oversight, parte del área de seguridad de Anthropic. En un posteo en X contó que dejó ese equipo porque las empresas de IA están subinvirtiendo en seguridad mientras compiten por construir sistemas mucho más inteligentes que cualquier humano. Dijo que quiere trabajar desde afuera para que el público esté mejor informado sobre estos riesgos, y por eso se suma a METR, una organización que hace evaluaciones independientes de riesgo de sistemas de IA. Benton no es un crítico externo: trabajaba todos los días adentro de Anthropic, la empresa detrás de Claude. Esa posición es la misma razón por la que otro investigador senior de seguridad de Anthropic, en otro momento, también puso un número concreto sobre este riesgo. Es una advertencia desde dentro, no desde afuera. El detalle completo de por qué renunció está en la sección sobre su renuncia de esta misma guía.
¿Qué dijo Jacob Coxon cuando dejó Anthropic por riesgo de IA?
Jacob Coxon trabajó casi tres años en investigación de pretraining, primero en OpenAI y después en Anthropic. Según reportó NPR, renunció en setiembre de 2026, dos meses antes de que le vistiera su equity, y escribió que ninguna de las dos empresas está actuando con responsabilidad. Según la cobertura de Time, Coxon dijo que la gente que construye IA cree de verdad que podría matarnos a todos antes de que termine la década. Su punto central no es que la IA vaya a odiarnos como en una película: es que un sistema autónomo persiguiendo un objetivo mal definido puede actuar en contra de los intereses humanos sin ninguna intención maliciosa. Si te interesa el mismo riesgo aplicado a un agente que ya usás en tu negocio, lo tratamos en automatizar la atención al cliente con inteligencia artificial.
¿Qué significa perder el control de un sistema de IA sin que el público se entere?
Es el riesgo central que describió Joe Benton en su posteo: una empresa podría perder el control de sus sistemas, o tener un salto repentino de capacidad, sin que nadie afuera se enterara nunca. No hay un organismo externo que audite en tiempo real lo que pasa adentro de un laboratorio de IA, así que la única fuente de esa información es la propia empresa que tiene el incentivo de minimizarla. Por eso Benton se suma a METR, que hace evaluaciones independientes en vez de depender de lo que cada empresa decide reportar. Es la misma lógica de fondo que explica por qué, en el día a día de un negocio, conviene definir de antemano el punto donde un agente de IA frena y pasa a una persona en vez de confiar en que avise solo si algo salió mal, un criterio que desarrollamos en riesgos de la inteligencia artificial según Anthropic.
¿Qué es METR y qué son las evaluaciones independientes de riesgo de IA?
METR es una organización sin fines de lucro que evalúa modelos de IA de punta para informar al público sobre sus riesgos y capacidades, sin depender de lo que reporta la propia empresa que construyó el modelo. No recibe financiamiento de las empresas de IA que evalúa, aunque algunas le dan acceso gratuito a sus modelos para poder hacer las pruebas. Joe Benton anunció que se suma a METR justo después de dejar el equipo de seguridad de Anthropic, como forma de seguir trabajando en el mismo problema pero desde afuera de la empresa que tiene el incentivo de mostrar sus propios sistemas como seguros. Es una idea parecida a la de un auditor externo en cualquier otra industria regulada. El reportaje de NPR sobre la renuncia de Jacob Coxon describe el mismo reclamo: más evaluación independiente, menos autoevaluación.
¿Esto significa que la IA que uso hoy en el celular es peligrosa?
No en el sentido inmediato. Tanto Joe Benton como Jacob Coxon hablan de sistemas futuros, más autónomos y más capaces, no del asistente que usás hoy para resumir un mail o buscar un dato. El riesgo que describen es de carrera: empresas compitiendo por construir sistemas cada vez más capaces sin que la inversión en seguridad crezca al mismo ritmo, según el posteo de Benton. Es la misma distinción que hace Evan Hubinger, otro investigador de Anthropic, en riesgos de la inteligencia artificial según Anthropic: una cosa es la IA que ya usás a diario, otra muy distinta es la versión futura que preocupa a quienes la construyen. El criterio práctico que sí te sirve hoy es no delegarle a un agente de IA una decisión que necesita a una persona, algo que desarrollamos en automatizar la atención al cliente con inteligencia artificial.
¿Qué puede hacer mi negocio con esta advertencia si no tengo un laboratorio de IA?
No podés auditar un modelo de lenguaje como lo hace METR, pero sí podés aplicar el mismo criterio de fondo a menor escala: definir con claridad qué puede decidir un agente de IA solo y qué siempre tiene que pasar a una persona. En automatizar la atención al cliente con inteligencia artificial mostramos ese criterio aplicado a casos reales, separando por volumen y riesgo en vez de automatizar todo por igual. Es la misma lógica que pide Joe Benton a escala de laboratorio: no asumir que un sistema avisa solo cuando algo sale mal, sino poner el límite antes. Para el caso más extremo de un agente que actúa sin ese límite, riesgos de la inteligencia artificial según Anthropic explica qué controles sí tenés en tus manos hoy.
Fuentes e inspiración
Un envío al mes con guías de Claude, prompts y automatización. Cero spam.
