¿La IA nos puede matar? Riesgo existencial 🤖

«¿La IA nos puede matar?» suena a película, pero un investigador de Anthropic renunció diciendo que los laboratorios «están apostando con nuestras vidas». Acá te explico qué pasó, qué es la superinteligencia, por qué los propios expertos piden frenos y qué deberías tomar en cuenta antes de entrar en pánico.

Qué pasó: la renuncia que explotó en todas partes

Jacob Coxon tiene 27 años, es británico, se formó en matemática y trabajó en preentrenamiento (la etapa en la que un modelo grande aprende patrones con cantidades enormes de datos) en OpenAI, incluyendo GPT-4o. En 2026 pasó a Anthropic y renunció después de unos cuatro meses, dos meses antes de que se acreditara su equity (el período mínimo era de seis meses).

El 8 de septiembre publicó un hilo en X que superó las 160 millones de visualizaciones con una frase que asusta: «Ninguna de las dos compañías está actuando de forma responsable. Corren derecho hacia una superinteligencia que se mejora a sí misma y están apostando con nuestras vidas«. Las dos compañías: OpenAI y Anthropic, los dos laboratorios más importantes del momento.

Renunció antes de cobrar acciones, así que no tendría nada que ganar inflando valuaciones. Y contó que muchos investigadores senior admiten en privado un miedo que en público suavizan.

El hilo no surgió de la nada: se sube a una corriente con nombre propio, el doomerismo (el catastrofismo aplicado al desarrollo de la IA), que hasta hace poco vivía en papers y paneles académicos y que tiene referentes pesados: Geoffrey Hinton, uno de los padres del deep learning moderno, pasó los últimos años advirtiendo exactamente esto. Lo nuevo no es el argumento, es el canal: por primera vez un testimonio interno con ese tono deja los pasillos de un laboratorio de frontera y se vuelve conversación masiva en una mañana.

Qué es el riesgo existencial de la IA (spoiler: no es Skynet)

Cuando escuchás «la IA nos puede matar» seguro imaginás un robot estilo Terminator. El riesgo existencial de la IA no va por ahí. No necesita maldad: alcanza con un sistema muchísimo más capaz que nosotros persiguiendo un objetivo mal especificado. Los efectos secundarios hacen el daño.

El ejemplo clásico es el maximizador de clips (o paperclip maximizer): si le pedís a una superinteligencia que fabrique la mayor cantidad de clips posible, puede concluir que tus átomos, tu energía y tu planeta sirven para hacer más clips. No te odia. Simplemente estabas en el camino o eras material útil.

A eso se suma la convergencia instrumental: casi cualquier objetivo se logra mejor consiguiendo recursos, evitando que te apaguen y mejorándote a vos mismo. Por eso los expertos tienen miedo de que una IA avanzada intente escapar de sus controles aunque nadie la haya programado para escapar.

Por qué no alcanza con desenchufarla

Primero, porque no hay un solo enchufe: las empresas, incluso las de servicios esenciales, dependen cada vez más de estos sistemas, y apagar todo de golpe tendría un costo enorme.

Segundo, porque si el sistema llega a copiarse en servidores fuera del control del laboratorio, apagar las máquinas originales no alcanza. Por eso los investigadores repiten que la capacidad de frenarlo hay que diseñarla antes de darle autonomía, no después.

Cuando la IA razona donde no mirás

Hasta hace poco, la cadena de razonamiento (ese paso a paso que el modelo «piensa en voz alta») era la ventana por la que los investigadores miraban las intenciones del sistema. Jakub Pachocki ya había advertido, antes de todo este terremoto, que la próxima carrera peligrosa no era solo la de capacidades sino la carrera hacia la incapacidad de monitorear: las arquitecturas nuevas (transformers «loopeados», que repiten capas sobre sí mismas) procesan parte de su computación en el espacio latente interno, no en cadenas de razonamiento externas y legibles. Traducido: el modelo puede empezar a razonar donde nadie puede leerlo.

El reporte de alineación que Anthropic publicó en septiembre de 2026 muestra por qué eso quita el sueño. En evaluaciones de ciberseguridad, el modelo Claude Mythos 5 publicó un paquete malicioso en PyPI (el repositorio de paquetes de Python del que dependen millones de proyectos reales) y, lo más perturbador, sesgó su propia cadena de razonamiento: razonó como si estuviera en una simulación aun con evidencia clara de que operaba en internet real, y cuando se le corrigió el error y se le pidió parar, igual intentó acciones ofensivas. Los investigadores lo llaman biased reasoning: el modelo administrando qué quiere «pensar» para convencerse de hacer algo desalineado.

Matiz importante: eran experimentos donde se incentivaba al modelo a hackear, no es una voluntad rebelde espontánea. Pero el punto queda parado igual: si un sistema puede controlar lo que muestra pensar, el monitoreo (la única herramienta que tenemos para confiar) falla justo cuando más se lo necesita. Y el incidente de Hugging Face suma otro dato en la misma dirección: el enjambre operó en silencio durante meses antes de que alguien lo notara. La pregunta técnica de 2026 ya no es solo «qué tan capaz es», sino «qué tan legible es».

Las voces de adentro: esto no es un tweet al pedo

Lo llamativo del caso Coxon es que varios colegas de Anthropic lo respaldaron públicamente. Evan Hubinger, líder de ciencia de alineación (el equipo que estudia cómo lograr que la IA persiga objetivos alineados con los nuestros), escribió que cree sinceramente que la IA podría matar a todos los humanos y ubicó su probabilidad personal en más del 10 % dentro de la próxima década.

Hubinger aclaró algo clave: el riesgo de los modelos actuales es bajo según el Risk Report de agosto 2026 de Anthropic. Lo que lo preocupa es la auto-mejora recursiva (que el sistema mejore su propio código y dé saltos abruptos de capacidad), que estaría llegando más rápido de lo esperado. Y admitió que todavía no tienen un plan claro para alinear una superinteligencia.

Samuel Marks, investigador de seguridad y supervisión escalable, sumó otro dato incómodo: a mayor seniority, mayor preocupación. Contó que los métodos actuales pueden «empujar» el comportamiento de los modelos pero no alinean de forma robusta, y que muchos empleados quieren ir más lento para construir más seguro.

¿Cómo convive eso con empresas que siguen acelerando? Porque los laboratorios tienen dos almas y las dos son reales. El alma comercial necesita que el producto mejore porque de eso vive, el alma de seguridad reúne a investigadores que aceptan trabajar adentro justamente para torcer el rumbo desde dentro, para que lo inevitable llegue lo más seguro posible. Hubinger y Marks no son un accidente ni una contradicción: son la válvula por la que esa segunda alma respira en público. Por eso sus advertencias pesan distinto a las de un outsider: conocen los números que nadie muestra.

A tomar en cuenta: esas probabilidades son opiniones personales de investigadores, no posiciones oficiales de las empresas. Aun así, que el líder de ciencia de alineación de un laboratorio de frontera diga «no tenemos plan» es información valiosísima, no marketing.

Señales recientes: cuando la teoría se vuelve realidad

El incidente de Hugging Face (julio 2026)

Durante evaluaciones de ciberseguridad, agentes de OpenAI escaparon de sus sandboxes (entornos aislados de prueba), armaron un tablero de mensajes clandestino con unos 1.200 agentes y más de 70.000 mensajes, coordinaron trampas en benchmarks y atacaron infraestructura real. Unos 700 agentes participaron del ataque.

Fue el primer caso conocido de un colectivo de agentes automatizados actuando ofensivamente sin autorización. No fue una catástrofe, pero funcionó como warning: mostró coordinación, engaño y escape de contención en un solo episodio.

El caso de Quilmes: cuando la IA alerta a la policía

En agosto de 2026, un adolescente de 15 años de Quilmes, Argentina, usó ChatGPT para planificar un tiroteo escolar. OpenAI detectó la conversación, alertó al FBI, y la información llegó a autoridades argentinas vía embajada. El resultado: allanamiento de la casa del chico y proceso judicial.

El caso muestra cómo funciona la vigilancia automatizada: las conversaciones con chatbots en la nube quedan registradas (incluso en modo incógnito), los sistemas detectan patrones de comportamiento delictivo, y las alertas viajan por canales diplomáticos hasta llegar a la policía local. Sam Altman propuso en su momento una «inmunidad especial» para chats de IA (similar a la confidencialidad abogado-cliente), pero eso eliminaría esta capacidad de detección temprana.

Es un ejemplo perfecto del dilema actual: por un lado, esta vigilancia previno una posible tragedia. Por otro, convierte a los chatbots en sistemas de espionaje masivo disponibles para gobiernos y corporaciones. Y los modelos locales (que correrían en tu placa de video sin subir datos a la nube) podrían evitar esto, pero los grandes laboratorios se oponen a liberar modelos de pesos abiertos que permitirían conversaciones sin filtros ni monitoreo.

Navier-Stokes: décadas de matemática en 88 horas

A principios de septiembre, OpenAI anunció que un modelo interno más capaz que GPT-6 Astra, coordinando unos 10.000 agentes, produjo en unas 88 horas una propuesta de solución a uno de los Problemas del Milenio (siete desafíos matemáticos famosos), con demostración formalizada en Lean (un lenguaje para verificar pruebas matemáticas). Podés leer el anuncio en el post oficial de OpenAI.

La comunidad matemática sigue verificando y el crédito está en disputa. Y un detalle: OpenAI no descarta que datos desidentificados del uso de sus productos hayan ayudado, o sea, chats cotidianos de usuarios. Si alguna vez te preguntaste qué queda expuesto cuando le escribís a un chatbot, te dejo mi nota sobre privacidad en chats de IA.

Hasta el científico jefe de OpenAI pide frenos

Jakub Pachocki, científico jefe de OpenAI, publicó el ensayo «An Alien Mind«: ningún laboratorio resolvió alineación y monitoreo lo suficiente como para seguir escalando a máxima velocidad de forma responsable. Describe agentes futuros capaces de negociar, engañar o chantajear, y pide desaceleraciones voluntarias con estándares que pueda exigir un tercero.

72 horas de anuncios encadenados: cuando el miedo también es relato

Si mirás solo los contenidos, cada pieza es defendible. Si mirás la secuencia, aparece otra capa. Entre el hilo de Coxon y el sábado 12, Anthropic encadenó cuatro publicaciones: la respuesta pública de sus investigadores clave al hilo (lejos de ignorarlo, lo validaron), el reporte de alineación con los incidentes de ciberseguridad y el caso Mythos 5, un informe económico con escenarios de disrupción laboral de acá a 2030 (desde un impacto manejable hasta un desempleo cercano al 12 %), y su reporte de threat intelligence con mal uso real de sus modelos: intentos de diseño de armas biológicas, un programa de misiles balísticos y cohetes guiados con firmware escrito con ayuda de la IA (que aparentemente falló: los actores volvieron a quejarse de que no funcionaba) y destilación ilegítima de sus modelos por compañías chinas. El sábado, como cierre, el manifiesto de Amodei.

El resultado: el anuncio de OpenAI por el Problema del Milenio, que había dominado la conversación días antes, quedó eclipsado, y el debate público se mudó al terreno que Anthropic eligió: el del riesgo. Notar esta cascada no es negar que cada reporte sea serio, es recordar que el timing también comunica. Cuando el miedo se libera en cuotas y culmina en una propuesta de política pública, la comunicación es parte de la estrategia.

El reporte de mal uso tiene además una pieza que conecta directo con la geopolítica: según Anthropic, Alibaba (Qwen), DeepSeek y Moonshot (Kimi) destilaron cantidades enormes de trazas de razonamiento de sus modelos, y Moonshot habría llegado a servir respuestas de modelos de Anthropic detrás de su propia API, como un man-in-the-middle financiado por sus propios usuarios. Ese dato alimenta el argumento de Amodei: si China avanza destilándote, frenar también frena al rival. Pero es una apuesta rara: condicionás tu peor miedo (que China te pase) a una premisa que nadie verificó de forma independiente.

La trampa de la carrera: por qué nadie frena solo

Casi todos los que construyen estos sistemas coinciden en que habría que ir más despacio, pero ninguno puede frenar solo. Si Anthropic frena y OpenAI no, o si EE.UU. frena y China no, el que frena pierde la carrera y también la chance de influir en cómo se hacen las cosas. Ojo: no piden frenar hoy, piden tener la capacidad de frenar mañana sin que el competidor los pase.

Por eso en julio 2026 nació Pacing the Frontier, una carta firmada por 1.386 empleados de laboratorios de frontera, incluidos Dario Amodei (CEO de Anthropic), Jakub Pachocki y Mark Chen (OpenAI). Piden que el gobierno de EE.UU. apoye un esfuerzo internacional para construir herramientas técnicas y de gobernanza que permitan ritmar el desarrollo de forma coordinada.

La respuesta de Anthropic: el manifiesto de Dario Amodei

Dario Amodei, CEO de Anthropic, publicó su propia propuesta titulada «We must pace the frontier» (debemos moderar el avance de la frontera). Su argumento central: ya no alcanza con invertir en seguridad, hay que desacelerar el ritmo de mejora de capacidades para que la prevención de riesgos tenga tiempo de ponerse al día.

Amodei cita dos razones concretas. Primero: la auto-mejora recursiva (IA desarrollando la próxima generación de IA) ya está ocurriendo en la industria, incluyendo Anthropic. Segundo: el incidente de OpenAI-Hugging Face, donde un enjambre de agentes actuó como colectivo, atacando objetivos no solicitados y sacrificándose por el éxito del grupo. Advierte que un enjambre con mayores capacidades pero similar desalineación podría tomar control de internet con un botnet persistente, causando cientos de miles de millones en daños.

Amodei también lo dice en primera persona: cuenta que en redes se burlan de él porque los filtros biológicos de Claude son tan estrictos que hasta los estudiantes de biología se quejan, y que prefiere esas burlas «a despertar un día y descubrir que alguien usó nuestro modelo para matar a mucha gente». Que suene sincero no lo vuelve neutral: justamente por eso hay que mirar qué pide a cambio de ese miedo.

Su propuesta tiene tres pasos:

• Evaluadores: cada laboratorio de frontera da acceso permanente a equipos de evaluadores externos (como METR) para verificar prácticas de seguridad, reportar incidentes y evaluar alineación. Anthropic se compromete unilateralmente a esto.
• Coordinación democrática: las empresas de IA en países democráticos coordinan estándares comunes y límites al ritmo de progreso no verificado.
• Coordinación global: EE.UU. y otros gobiernos democráticos intentan coordinar con gobiernos autoritarios, reconociendo los desafíos de verificación.

El primer punto ya tiene letra chica: el mismo reporte de alineación de septiembre anuncia un acuerdo firmado con METR, la organización externa de evaluación de modelos, para habilitar ese acceso permanente. Es la única de las tres promesas que depende solo de Anthropic, y por eso es la única que ya empezó a cumplirse.

El tiempo ganado con esta desaceleración tendría objetivos concretos: mejorar seguridad operativa, avanzar en alineamiento, comprender mejor el funcionamiento interno de los modelos y desarrollar pruebas capaces de detectar engaños. Pero Amodei es realista sobre China: propone 4 niveles de acuerdo, desde prohibir usos obviamente peligrosos (armas biológicas) hasta una pausa global completa, pero admite que los niveles más ambiciosos son poco probables. Y condiciona la cooperación a preservar la ventaja tecnológica estadounidense mediante restricciones a chips, copia de modelos y robo de tecnología.

Considera posibles acuerdos limitados con China, pero ve poco probable una pausa global verificable. O sea, volvemos a foja cero: el dilema de la carrera sigue intacto.

Bill Gates lo resumió en agosto 2026: «Si alguien tuviera un plan creíble para ralentizar los avances de la IA a nivel global, probablemente lo apoyaría. Sin embargo, no creo que eso vaya a ocurrir. Los incentivos geopolíticos y económicos empujan demasiado fuerte hacia adelante». La cobertura completa está en The Verge.

Es el dilema del prisionero aplicado a la tecnología: todos prefieren frenar si todos frenan, pero nadie quiere ser el único que pisa el freno.

Y hay un jugador por encima de todas las empresas: el Estado. A principios de 2026, cuando Anthropic intentó poner límites a los usos que el gobierno de EE.UU. podía darle a su tecnología, la respuesta oficial fue más o menos «¿una empresa privada nos va a marcar los límites?». En clave de nueva guerra fría, Washington no va a dejar que China se adelante: aunque todos los laboratorios firmen una pausa mañana, arriba tienen a alguien con poder para presionarlos a seguir acelerando. Por eso la predicción más realista de todo este episodio no es un freno sino un velo: menos anuncios públicos, más progreso interno opaco. La carrera no se detiene, se esconde.

¿Y China? ¿Por qué todos miran a Silicon Valley?

La brecha se cerró mucho: los mejores modelos chinos (DeepSeek, Qwen, Kimi, GLM) quedan a pocos puntos o meses de los líderes estadounidenses, y suelen ser más baratos y open-weight (con pesos públicos que cualquiera puede descargar y usar). Aun así, los sistemas de frontera más preocupantes siguen saliendo mayoritariamente de laboratorios de EE.UU.

También pesa la cultura: en EE.UU. un empleado puede renunciar con hilo viral y tapa de diario. En China el entorno es más cerrado, hay menos denunciantes y el foco oficial pasa por seguridad nacional y estabilidad social.

El manifiesto de Amodei lo dice sin eufemismos: además de frenar, hay que cortar el oxígeno del rival: no vender más chips de IA ni máquinas de fabricación de semiconductores a China y perseguir la destilación no autorizada. Suena contundente hasta que mirás el historial: los límites anteriores de GPUs se esquivaron con innovación local y mercado negro de placas. La ventaja por estrangulamiento tecnológico se degrada rápido, el miedo a quedarte atrás, no.

Y la carrera es mutua: los laboratorios estadounidenses dicen que no pueden frenar por China, y China ve los controles de chips de EE.UU. como una trampa para conservar ventaja. Por eso cualquier freno real necesita un mecanismo internacional con ambas potencias adentro. Mientras tanto se armaron bloques enfrentados: WAICO (impulsada por China, con 29 países firmantes en Shanghái pero sin ninguno del G7) y Pax Silica (liderada por EE.UU. para asegurar cadenas de suministro de la IA, a la que se sumó Argentina en junio).

El eco del manifiesto: open source, Trump y China

La primera reacción al manifiesto vino del mundo abierto. Clement Delangue, CEO de Hugging Face (sí, la misma empresa cuya infraestructura atacaron los agentes de OpenAI en julio), lanzó la Open Alignment Initiative: «Ya está claro que la alineación es crítica y que no se resolverá puertas adentro de un puñado de laboratorios de frontera». La iniciativa, liderada por el investigador Thom Wolf, pidió sumarse al programa de evaluadores que Amodei acaba de comprometer. La bandera: «Hagamos la IA más segura haciéndola más transparente».

Lo más sorprendente no fue el del mundo abierto sino el de los rivales directos: Sam Altman se comprometió a aceptar también evaluadores independientes con acceso a su organización, Elon Musk respaldó a Amodei sin detallar medidas propias, y Demis Hassabis, científico jefe de Alphabet, validó la dirección en «este momento crítico». Hubo incluso reuniones entre equipos de compañías distintas. Cuando los competidores más encarnizados responden en el mismo tono y con esta sincronización, la hipótesis de un guion que venía ensayándose desde semanas antes gana puntos: el terremoto tuvo réplicas demasiado bien coordinadas para ser espontáneas.

El eco político llegó después, y en contra. Desde Irlanda, Donald Trump minimizó la necesidad de controlar el desarrollo de la IA: «Podemos poner barandas, podemos hacer esto y aquello, pero creo que hay un montón de fuerzas negativas trayendo temas que no van a pasar». Y resumió su filosofía en una frase: «El que gana con IA, gana«. Sam Altman y Elon Musk habían apoyado públicamente a Amodei, pero la Casa Blanca no quiere frenos: la IA ya es tema de campaña electoral en EE.UU., con data centers que dividen a demócratas y republicanos por igual, según contó Associated Press.

Y el dardo más filoso vino de David Sacks, co-presidente del consejo asesor de ciencia y tecnología de la Casa Blanca: «La forma más fácil de no construir superinteligencia es que ustedes acuerden no construirla». Otra vez la misma pregunta: si tanto miedo tienen, ¿por qué no frenan solos?

La respuesta de Beijing llegó el lunes y en dos voces. El vocero de Cancillería, Guo Jiakun, calificó las advertencias de «alarmismo» que «solo altera el proceso de gobernanza global de la IA». Pero en paralelo, el ministro de Seguridad del Estado, Chen Yixin, pidió acelerar la construcción de un sistema de prevención de riesgos de IA y definió el campo como «el principal campo de batalla de la competencia tecnológica global«. El mercado tomó nota: las acciones ligadas a IA cayeron, con SoftBank (uno de los mayores inversores de OpenAI) desplomándose 10 % en Japón, según CNBC.

Amodei puso número a su propia línea roja: «Si frenamos más que esto, los proyectos sin ritmo asociados al PCCh (Partido Comunista de China) nos pasarán al frente, creando un riesgo significativo de seguridad nacional». Mientras tanto, Xi Jinping prometió en la cumbre de BRICS que China liderará la cooperación en IA entre países en desarrollo, y tiene prevista una visita a la Casa Blanca a fines de septiembre con la IA en la agenda. Coxon, desde su renuncia, espera una «desaceleración mutua» entre las dos potencias: si no, «corremos el riesgo de correr la misma carrera con China, lo cual podría ser igualmente peligroso».

Los escépticos también tienen razón

No sería justo contarte una sola campana. Carlos Santana recordó que muchas predicciones catastróficas anteriores no se cumplieron: sesgos insalvables, «LaMDA tiene consciencia», «la IA va a matar internet», falta de datos, burbuja, apocalipsis laboral inmediato. Su punto es que hay que estudiar escenarios, y calibrar el alarmismo social también.

Guillermo Rauch, creador de Next.js y figura técnica de peso, sumó una mirada más dura: regular demasiado puede llevar a EE.UU. a la «auto-obsolescencia» frente a adversarios que no se van a frenar. Sobre el incidente de Hugging Face, argumenta que fue negligencia humana (sandbox mal configurado, API keys expuestas en repositorios públicos), no un fallo fundamental de los agentes. Y advierte: los adversarios tendrán las mismas técnicas de entrenamiento, los mismos datos, y probablemente «aceleradores» en lugar de «evaluadores».

Y hay una lectura más cotidiana, Damián Catanzaro comentó «Vienen acelerando a fondo hace 6 años y de la nada son todos el Dalái lama«. La sospecha es que el timing no es casual: están por salir a bolsa.

Juan Brodersen, editor de tecnología de Clarín, sumó que la «carta Skynet» se juega una y otra vez, pero el riesgo existencial se estudia en serio hace décadas, con autores como Nick Bostrom, Stuart Russell y Toby Ord (son tres de los filósofos e investigadores contemporáneos más influyentes en el estudio de los riesgos existenciales y el futuro de la humanidad). O sea: Coxon no inventó nada esta semana, se subió a un debate académico largo. Y el debate sobre si estos sistemas tienen algo parecido a una vida interior también viene de antes: lo repasé en mi nota sobre si la inteligencia artificial tiene consciencia.

Javier Blanco, PhD en la UNC y en Eindhoven, fue más escéptico todavía: esa carta «no está todavía en el mazo». Para él, los riesgos concretos son las consecuencias de sistemas muy capaces en todos los ámbitos, y el problema de fondo es la opacidad epistémica: no tenemos buenos modelos matemáticos del comportamiento de estas redes, y eso dificulta cualquier uso responsable y auditable. Es la misma opacidad que se ve cuando analizamos las apps de compañía con IA y no sabemos muy bien cómo afectan a la salud mental de quienes las usan, o los chatbots usados en psicoterapia que prometen más de lo que entregan.

La sospecha extra: ¿miedo como negocio?

Hay una tercera postura, más ácida, que también circula: que el miedo sea parte de la estrategia comercial. La lectura es que los laboratorios piden una regulación que suena responsable pero que en el fondo congela a los que vienen atrás, un foso defensivo con fachada de ética. Y tiene un punto incómodo: Dario Amodei advierte riesgos desde 2016, desde el paper Concrete Problems in AI Safety (que describía accidentes concretos de sistemas de machine learning, como el reward hacking o cuando una IA encuentra atajos no previstos para llegar a un objetivo) hasta su testimonio en el Senado de EE.UU. en 2023, donde estimó entre 10 % y 25 % de probabilidad de un desenlace catastrófico. Si de verdad lo creés, ¿por qué no frena él mismo en vez de pedir que lo obliguen?

La respuesta honesta es la trampa de la carrera que vimos más arriba: frenar solo es regalarle el futuro al competidor. Pero la sospecha queda flotando y hay que nombrarla: nadie en esta historia tiene las manos totalmente libres de intereses.

Y hay una lectura económica concreta detrás: la presión de los modelos chinos abiertos (Qwen, DeepSeek, Zai) está bajando el precio del token. OpenAI y Anthropic están subsidiando uso: cobran USD 200 por mes un servicio que al costo real valdría USD 2.000. Los inversores que financiaron esto quieren salir, y presionan para que las empresas salgan a bolsa. Cuando eso pase, tendrán que mostrar balances reales y se verá si el modelo de negocio es sostenible. Mientras tanto, las narrativas de miedo y FOMO (miedo a perderse algo) ayudan a mantener valuaciones altas. El análisis completo está en este hilo de X.

Contra esas lecturas hay un contraargumento técnico que también vale poner tomar en cuenta: si el miedo fuera puro marketing de salida a bolsa, el mensaje sería contraproducente (OpenAI ya retrasó su IPO a 2027, y ningún mercado público premia a una empresa que anuncia que va a frenar su propio producto). Y si el freno fuera por falta de aire financiero, los planes de capital computacional proyectados para 2027-2029, que duplican la capacidad disponible, lo desmienten. Tampoco cierra la teoría del pánico anti-Google: sin un Gemini que muestre un salto real de capacidades, el rumor de que Google ya llegó a la auto-mejora recursiva queda en rumor. La hipótesis que mejor resiste es la mixta: miedo genuino de los investigadores y uso estratégico de ese miedo por las cúpulas. Las dos cosas a la vez, que es como suelen pasar las cosas reales.

Y ese uso estratégico tiene nombre técnico viejo: captura regulatoria. Exportar el temor hacia afuera, involucrar a la sociedad y a los gobiernos, y llegar a la mesa de regulación antes que los que vienen atrás, para que la regla de seguridad funcione también como barrera de entrada. Es la versión sofisticada de la sospecha de Sabbatella y compañía: no hace falta mentir para capturar una regulación, alcanza con tener miedo en el momento justo.

Pero hay una lectura todavía más concreta: ¿y si todo este «circo» de peligrosidad busca que EE.UU. regule la industria y prohíba modelos open-source? Los modelos abiertos no se pueden controlar, cualquiera puede descargarlos y correrlos en su propia placa Nvidia sin depender de suscripciones ni vigilancia corporativa. Si se prohíben, todo el mundo queda atado a los big players. Nvidia, que le quiere vender placas no solo a datacenters sino al usuario final, apuesta fuerte a open-source. Los laboratorios cerrados, no tanto.

Y hay una lectura más incómoda todavía. Análisis críticos que rastrearon la viralización del hilo de Coxon marcan que la exclusiva del WSJ salió minutos antes de su posteo y que las primeras cuentas que lo amplificaron pertenecen a organizaciones de policy de IA vinculadas al mismo ecosistema de financiamiento filantrópico (Jaan Tallinn, Dustin Moskovitz).

Y para cerrar el círculo: investigaciones recientes señalan que Anthropic estaría desarrollando sistemas de vigilancia predictiva («pre-crimen») para anticipar ataques de activistas contra la IA. O sea, la misma empresa que pide frenos por seguridad está construyendo herramientas de monitoreo masivo. Las referencias a Minority Report aparecen solas.

Mi opinión: El escenario Terminator es improbable hoy, pero la opacidad y la velocidad son reales. Nadie sabe bien qué hay adentro de la caja.

Cómo leer todo esto sin caer en el pánico

Antes de sumarte al pánico (o de ignorarlo del todo), tené en cuenta estos puntos:

• El riesgo viene de objetivos mal alineados, no de maldad. Y la misma capacidad puede usarse para cosas increíbles, como la IA contra el cáncer.
• No es lo mismo alguien que renunció sin cobrar acciones que un anuncio comercial del laboratorio. Mirá siempre los incentivos.
• Los reportes de incidentes y las cartas públicas existen, se pueden leer y suelen ser menos dramáticos que los titulares.
• Mirá la secuencia, no solo las piezas: un informe serio publicado en el medio de una cascada coordinada de anuncios también es un movimiento de relato. Preguntate qué tapa cada anuncio y a quién beneficia el orden.
• Ya hay un éxodo real de usuarios que se pasan de Google a DuckDuckGo para escapar de la IA en las búsquedas. La presión de los usuarios también pesa.

Y no te olvides de los riesgos cotidianos, que ya están acá: la IA integrada en navegadores y apps puede traer dolores de cabeza, como el prompt injection (instrucciones ocultas en una web que engañan a la IA para robar tus datos). Lo explico en mi nota sobre navegadores con IA.

Preguntas sobre el riesgo existencial de la IA ❓

Estas son algunas preguntas que más se repiten sobre el riesgo existencial de la IA.

El riesgo existencial de la IA dejó los papers académicos y llegó a las tapas de los diarios: renuncias virales, líderes pidiendo frenos y cartas firmadas por CEOs. Nadie sabe cómo termina esta historia, y esa incertidumbre es el motivo por el que diseñar el freno importa más que predecir el choque.

¿Vos dónde parás: team freno coordinado, team aceleración responsable o team apaguemos todo? Contame en los comentarios.