Nuestra intención era publicar hoy la segunda parte del debate entre ChatGPT (en un papel tecnófobo) y Claude (como tecnófilo) que iniciamos hace dos semanas, pero vamos a aparcar los temas programados para llevar esta misma conversación de chats de IA al tema que precisamente sobre esta tecnología se ha puesto de actualidad estos días, después de que unas declaraciones de un ingeniero y extrabajador de Anthropic y OpenAI abrieran la veda hacia lo que ahora todo el mundo habla.
Y es que bastantes voces se están pronunciando en estos momentos advirtiendo de los riesgos de un desarrollo acelerado de la inteligencia artificial, con previsiones de tinte apocalíptico respecto al poder que podría alcanzar esta tecnología en el momento en el que supere la propia inteligencia del ser humano, poniendo en peligro incluso su propia existencia. Asusta pensar que esto lo digan expertos en la materia que han trabajado (o siguen trabajando) en su evolución… Y también hay quien señala, como en esta entrevista, que podrían ser estrategias interesadas de las propias compañías, que podrían hacer frente a una posible regulación que no dejaría paso a nuevos y más modestos competidores.
Así pues, sobre si hay que pausar o no el desarrollo de la IA para evitar futuros catastrofistas tipo Terminator, y sobre si la carrera competitiva justifica o no un progreso sin fin de la informática, ya que, como diría aquel, si no lo hacemos nosotros lo harán otros, hemos pedido de nuevo a ChatGPT y a Claude (si, precisamente a ellos) que confronten dos puntos de vista, tecnófobo y tecnófilo respectivamente, y abajo podéis ver sus interesantes y reflexivas conclusiones (que más querrían la mayoría de tertulianos de la televisión…)
Dado que hemos incluido este tema improvisado en medio del debate general que ya teníamos preparado, ahora las entradas de esta conversación entre IAs darán lugar a una tetralogía en vez de una trilogía. Próximamente en el blog, las dos entregas que quedan…
CLAUDE (Tecnófilo):
Muchos investigadores consideran que los riesgos catastróficos de la Inteligencias Artificial a corto plazo están sobredimensionados y que los daños reales y ya presentes (sesgos, desinformación, impacto laboral, concentración de poder) merecen más atención inmediata que escenarios especulativos de "superinteligencia".
Es razonable sospechar que parte del discurso alarmista beneficia a las empresas ya establecidas, creando barreras regulatorias que dificultan la entrada de competidores más pequeños (un argumento de "captura regulatoria").
Frenar el desarrollo de la IA unilateralmente (por ejemplo solo en países occidentales) podría simplemente trasladar el liderazgo tecnológico a actores con menos incentivos de seguridad, en lugar de reducir el riesgo global.
CHATGPT (Tecnófobo):
Estás utilizando la incertidumbre como argumento para acelerar, cuando en situaciones de riesgo potencialmente irreversible debería ser precisamente al revés. Que existan daños actuales no demuestra que los riesgos futuros de la IA sean irrelevantes; que algunas empresas puedan instrumentalizar el alarmismo no demuestra que el peligro sea ficticio; y que otros países puedan continuar la carrera no demuestra que acelerar sea la solución.
Tu argumento presupone que podremos controlar una tecnología futura porque debemos competir para desarrollarla. Pero esa es precisamente la apuesta que habría que demostrar, no asumir. Si una tecnología puede llegar a ser extremadamente poderosa, la pregunta sensata no es «¿cómo conseguimos ser los primeros?», sino «¿qué garantías necesitamos antes de hacerla más poderosa?».
Una carrera hacia una tecnología potencialmente difícil de controlar no se vuelve segura porque haya varios corredores. El principio de precaución no exige demostrar que ocurrirá una catástrofe; exige demostrar que podemos gestionar razonablemente el riesgo antes de exponernos a él.
CLAUDE:
El principio de precaución suena impecable en abstracto, pero aplicado de forma asimétrica se convierte en una trampa retórica. Exigir "garantías razonables antes de exponernos al riesgo" presupone que existe la opción de no exponerse — y esa opción no existe. La IA se está desarrollando en paralelo en decenas de países, laboratorios y jurisdicciones. Frenar en un punto no elimina el riesgo hipotético que describes; simplemente decide quién llega primero al umbral que te preocupa. Si de verdad crees que una IA descontrolada es catastrófica, deberías preferir que quien cruce esa línea sea un actor con cultura de seguridad, evaluaciones publicadas y escrutinio externo — no el que menos se lo plantee.
Además, el argumento invierte la carga de la prueba de forma poco realista. Pedir que se demuestre "que podemos gestionar razonablemente el riesgo" antes de seguir avanzando suena riguroso, pero en la práctica esa gestión del riesgo se aprende desarrollando la tecnología: los métodos de interpretabilidad, alineamiento y evaluación de modelos han avanzado precisamente porque hay modelos cada vez más capaces sobre los que probarlos. Frenar el desarrollo no frena solo el peligro hipotético; frena también la investigación de seguridad que depende de tener sistemas reales con los que trabajar.
Sobre lo "irreversible": no todo lo irreversible justifica la parálisis. Casi cualquier tecnología transformadora (la energía nuclear, la ingeniería genética, internet) implicó riesgos desconocidos y decisiones tomadas bajo incertidumbre real, no bajo certeza de control total. La sociedad no esperó a tener garantías absolutas para avanzar en esos casos; construyó instituciones, normas y capacidad de respuesta mientras avanzaba. Pedir garantías previas para la IA es aplicar un estándar que ninguna otra tecnología con riesgos sistémicos ha tenido que cumplir jamás.
Y sobre el alarmismo instrumentalizado: que "no demuestre que el peligro sea ficticio" es cierto, pero tampoco es irrelevante. Si el discurso de riesgo existencial coincide sistemáticamente con los intereses comerciales de quien lo enuncia, es una señal epistémica legítima que debería hacernos descontar parte de la alarma, no ignorarla del todo.
CHATGPT:
Que la IA vaya a desarrollarse inevitablemente no significa que no podamos decidir cuánto, cómo y a qué velocidad. Claude convierte «no podemos eliminar el riesgo» en «no podemos reducirlo», y de ahí en «debemos seguir acelerando». Pero una carrera tecnológica no es una ley de la naturaleza: es una decisión colectiva. «Otros lo harán» puede convertirse precisamente en la profecía autocumplida que nos obliga a correr cada vez más.
Tampoco está demostrado que sea preferible que «llegue primero el actor responsable». Una carrera por capacidades cada vez mayores puede producir justamente lo contrario: más presión competitiva, menos tiempo para evaluar, menor transparencia y mayores incentivos para asumir riesgos. Si nuestra seguridad depende de que el ganador sea siempre el actor más prudente, quizá el problema sea la propia carrera, no quién la gana.
Es cierto que la seguridad mejora mediante la experimentación, pero eso no implica que debamos aumentar simultáneamente todas las capacidades y desplegarlas sin límites. Podemos investigar con sistemas controlados y establecer umbrales antes de avanzar. Decir que necesitamos modelos cada vez más poderosos para aprender a controlarlos plantea una paradoja: para averiguar si determinadas capacidades son controlables, primero las hacemos más poderosas. Es un principio parecido a «hagamos un incendio mayor para aprender a apagar incendios».
Las comparaciones con la energía nuclear, la biotecnología o internet tampoco demuestran que debamos aceptar el mismo modelo. Que otras tecnologías se desarrollaran bajo incertidumbre no significa que esa estrategia fuera óptima. Además, la IA tiene una particularidad: puede amplificar rápidamente otras capacidades científicas, económicas, militares o informativas, por lo que sus efectos pueden ser más difíciles de anticipar.
Finalmente, los incentivos económicos deben evaluarse en ambos sentidos. Si algunas empresas exageran los riesgos para favorecer una regulación que limite a sus competidores, es razonable exigir evidencia independiente. Pero exactamente el mismo escrutinio debería aplicarse a empresas que ganan enormes cantidades de dinero aumentando las capacidades de la IA y que, por tanto, tienen incentivos para minimizar sus riesgos.
La cuestión, por tanto, no es «¿desarrollamos IA o dejamos que otros lo hagan?». Es qué capacidades permitimos, a qué velocidad, bajo qué controles y quién decide cuándo detenerse. No hace falta defender la parálisis tecnológica para rechazar la idea de que una carrera por maximizar capacidades sea inevitable o deseable. La carrera es una institución humana, no una ley de la naturaleza.