El debate sobre la IA: extinción frente a salvación

Resumen: El debate sobre la IA refleja un conflicto filosófico más profundo sobre el valor y los riesgos del conocimiento en sí mismo. Algunos críticos de la IA temen que una mayor inteligencia pueda desatar fuerzas incontrolables y catastróficas, haciéndose eco de una larga tradición de escepticismo hacia el progreso científico y tecnológico. Otros sostienen que la inteligencia y el conocimiento son las herramientas principales de la humanidad para superar amenazas existenciales y mejorar la condición humana. En esencia, la disputa gira en torno a si la expansión de la inteligencia debe considerarse principalmente como un peligro que hay que contener o como una virtud que hay que cultivar.

En diciembre de 2022, apenas un mes después del lanzamiento del modelo de lenguaje grande (LLM) ChatGPT de OpenAI, comenzó a circular un meme inquietante que aún hoy nos acompaña. Se trata de una ilustración del Shoggoth, un misterioso y letal monstruo cósmico del autor clásico de terror de principios del siglo XX, H. P. Lovecraft.

Fuente de la imagen: Una publicación en X de @TetraspaceWest, 30/12/2022

"El meme del Shoggoth se ha vuelto viral en el pequeño mundo de los expertos en IA hiperconectados", explica Kevin Roose, columnista de tecnología del New York Times. En su artículo "Por qué una criatura parecida a un pulpo ha llegado a simbolizar el estado de la IA", documenta que el meme se ha convertido en un símbolo popular en ensayos relacionados con la IA, publicaciones en X y foros de discusión. Elon Musk incluso publicó el meme y luego lo borró, informa Roose.

Las siglas "RLHF" del meme significan "aprendizaje por refuerzo a partir de la retroalimentación humana". Roose explica que la versión inicial del meme, publicada por @TetraspaceWest, es "una imagen de dos Shoggoths dibujados a mano: el primero etiquetado como ‘GPT-3’ y el segundo como ‘GPT-3 + RLHF’. El segundo Shoggoth tenía, posada en uno de sus tentáculos, una máscara con una cara sonriente". Otras versiones posteriores del meme solo han representado a un Shoggoth con RLHF y una cara sonriente.

Fuente de la imagen: Una publicación en X de @alexandr_wang, director de IA en Meta y fundador de Scale AI, 27/3/2023

"Es el meme más importante en IA", cita Roose a un ejecutivo de IA.

Entonces, ¿cuál es el significado del meme?

Roose ofrece una explicación sencilla:

En pocas palabras, la broma consistía en que, para evitar que los modelos de lenguaje de IA se comportaran de manera aterradora y peligrosa, las empresas de IA han tenido que entrenarlos para que actúen de forma educada e inofensiva. Una forma popular de hacerlo se llama "aprendizaje por refuerzo a partir de la retroalimentación humana", o R.L.H.F., un proceso que implica pedir a los humanos que califiquen las respuestas de los chatbots e introducir esas calificaciones en el modelo de IA. … algunos sostienen que ajustar un modelo de lenguaje de esta manera no hace que el modelo subyacente sea menos extraño e inescrutable. En su opinión, es solo una máscara frágil y amigable que oculta a la misteriosa bestia que hay debajo.

Esta explicación es esclarecedora en lo que se refiere, pero también se puede extraer un mensaje más amplio al examinar más de cerca la obra de H. P. Lovecraft. Sus monstruos de horror cósmico, como el Shoggoth, representan una ansiedad antiilustrada —un pesimismo general sobre las consecuencias del crecimiento del conocimiento— que se asemeja notablemente a los temores de los críticos modernos de la IA. Las suposiciones subyacentes de Lovecraft sobre las consecuencias de los descubrimientos científicos y tecnológicos son relevantes para el debate sobre la IA, lo que hace que la relevancia del meme del Shoggoth sea mucho más amplia que la mera R.L.H.F.

El miedo de Yudkowsky al conocimiento tecnológico

Quizás el crítico más destacado de la IA extrema sea Eliezer Yudkowsky. Ampliamente considerado como uno de los fundadores del campo de la alineación de la inteligencia artificial general, es coautor (junto con Nate Soares) del éxito de ventas instantáneo del New York Times de 2025 Si alguien lo construye, todos morirán: Por qué una IA superhumana nos mataría a todos.

El libro sostiene que "en toda la Tierra, debe ser ilegal que las empresas de IA sigan avanzando en el desarrollo de la inteligencia artificial como lo han estado haciendo". Es difícil rebatir esta propuesta si se acepta la afirmación central del libro: "Si alguna empresa o grupo, en cualquier lugar del planeta, construye una superinteligencia artificial utilizando cualquier cosa remotamente parecida a las técnicas actuales, basada en cualquier cosa remotamente parecida a la comprensión actual de la IA, entonces todos, en cualquier lugar de la Tierra, morirán".

El problema, tal como ellos lo ven, es que la IA no se preocupará automáticamente por la vida sensible, como los humanos. Argumentan que ese cuidado debe incorporarse de manera especial, y que actualmente no sabemos cómo hacerlo. "La IA no te ama, ni te odia, y tú estás hecho de átomos que ella puede usar para otra cosa", argumenta Yudkowsky en un artículo de la revista Time de 2023 titulado "Pausar el desarrollo de la IA no es suficiente. Necesitamos apagarlo todo".

La visión de Yudkowsky sobre los frutos del avance tecnológico tiene, como veremos, un tono bastante lovecraftiano. "Para visualizar una IA superhumana hostil, no imagines a un pensador sin vida, erudito y de libros, que habita en el interior de Internet y envía correos electrónicos malintencionados. Visualiza toda una civilización alienígena, que piensa a velocidades millones de veces superiores a las de los humanos, inicialmente confinada a las computadoras, en un mundo de criaturas que son, desde su perspectiva, muy estúpidas y muy lentas".

Esto refleja parte de la intención simbólica detrás del meme de Shoggoth. Roose escribe que @TetraspaceWest le dijo: "También estaba pensando en cómo las entidades más poderosas de Lovecraft son peligrosas, no porque no les gusten los humanos, sino porque son indiferentes y sus prioridades nos son totalmente ajenas y no involucran a los humanos, que es lo que creo que será cierto sobre una posible IA poderosa en el futuro".

Para asegurarnos de que "lo apagamos todo", como exige Yudkowsky en su artículo de The Atlantic, propone que los gobiernos de todo el mundo:

Establezcan acuerdos multinacionales inmediatos para evitar que las actividades prohibidas se trasladen a otros lugares. Realicen un seguimiento de todas las GPU vendidas. Si la inteligencia indica que un país fuera del acuerdo está construyendo un clúster de GPU, teman menos un conflicto armado entre naciones que el incumplimiento de la moratoria; estén dispuestos a destruir un centro de datos rebelde mediante un ataque aéreo. … Dejar claro en la diplomacia internacional que prevenir los escenarios de extinción por IA se considera una prioridad por encima de prevenir un intercambio nuclear total, y que los países aliados con armas nucleares están dispuestos a correr cierto riesgo de intercambio nuclear si eso es lo que se necesita para reducir el riesgo de grandes sesiones de entrenamiento de IA.

Figuras políticas influyentes han expresado temores de similar magnitud. Por ejemplo, en el Wall Street Journal, el senador estadounidense Bernie Sanders publicó un artículo en el que pregunta: "¿Cómo podemos seguir adelante cuando los principales científicos advierten que la IA representa un riesgo existencial para la raza humana?" Anuncia en el artículo que ha "...presentado una propuesta de ley, junto con la representante Alexandria Ocasio-Cortez, para imponer una moratoria federal sobre la construcción de nuevos centros de datos de IA hasta que se establezcan sólidas salvaguardias nacionales".

El miedo de Lovecraft al crecimiento del conocimiento

Lovecraft es ampliamente considerado como uno de los autores de terror más importantes de la historia de la literatura. Stephen King lo ha calificado como "el mayor exponente del cuento de terror clásico del siglo XX". Su obra contiene un panteón extraño y fantasmagórico de monstruos cósmicos de ciencia ficción y fantasía interrelacionados. Cthulhu es el más famoso, y el Shoggoth es uno de las docenas que son más desconocidos.

Su obra es tan única e influyente que creó todo un subgénero de terror, conocido como "terror lovecraftiano" o "terror cósmico". Este subgénero se centra en el miedo al peligro cósmico y a la inmensidad de lo desconocido. Considero a Lovecraft una figura antiilustrada, porque la mayoría de sus historias tratan sobre la ciencia que descubre verdades horribles que nunca debieron haberse descubierto y que no se pueden desaprender. La moraleja inconfundible de la obra de Lovecraft es que el conocimiento más profundo del universo debería permanecer desconocido.

El pasaje inicial de La llamada de Cthulhu (1928), probablemente la historia más famosa de Lovecraft, ilustra bien su espíritu antiilustrado:

Vivimos en una plácida isla de ignorancia en medio de los mares negros del infinito, y no estaba destinado que navegáramos lejos. Las ciencias, cada una tirando en su propia dirección, hasta ahora nos han hecho poco daño; pero algún día la unión de conocimientos disociados abrirá perspectivas tan aterradoras de la realidad, y de nuestra espantosa posición en ella, que o nos volveremos locos por la revelación o huiremos de la luz mortal hacia la paz y la seguridad de una nueva era oscura.

Estos sentimientos pueden analogarse casi perfectamente con el temor de Yudkowsky hacia la IA. Yudkowsky reconoce que vivimos en una plácida isla de ignorancia —de ahí la brecha entre nuestra inteligencia y la de la IA superhumana, y nuestra ignorancia sobre cómo controlar o resistir a la superinteligencia. Yudkowsky probablemente reconoce que la IA nos ha hecho poco daño hasta ahora, pero coincide con el narrador de Lovecraft en que "algún día, la unión de conocimientos disociados abrirá perspectivas tan aterradoras de la realidad, y de nuestra espantosa posición en ella", que se producirá un cataclismo. Por lo tanto, Yudkowsky aboga por políticas antiilustradas, como prohibir amplios sectores de la investigación tecnológica y estar dispuesto a bombardear centros de datos: llamados explícitos a destruir el conocimiento y detener su crecimiento. Por lo tanto, es acertado, aunque hiperbólico, señalar que Yudkowsky querría que "huyéramos de la luz mortal hacia la paz y la seguridad de una nueva era oscura".

Estos mismos mensajes básicos están presentes en casi todas las historias que escribió Lovecraft. En su novela corta de 1936 En las montañas de la locura, que contiene la primera aparición del Shoggoth, escribe que: "Es absolutamente necesario, por la paz y la seguridad de la humanidad, que algunos de los rincones oscuros y muertos de la Tierra y sus profundidades insondables sean dejados en paz; no sea que las anomalías dormidas despierten a una vida resurgente, y las pesadillas que sobreviven blasfemamente se retuerzan y salgan chapoteando de sus guaridas negras hacia conquistas nuevas y más amplias".

Ilustración de un Shoggoth
Fuente de la imagen: ElioSoSavage Publicado en Shoggoth, Shoggoth/Galería en https://lovecraft.fandom.com/wiki/Shoggoth/Gallery?file=Screenshot_20171022-085959.jpg

Lovecraft también escribió obras de no ficción en las que expresaba precisamente los sentimientos luditas que cabría esperar de un pensador tan centrado en las horribles consecuencias del descubrimiento y la ciencia. Su ensayo de 1933 "Some Repetitions on the Times" lamenta que la automatización conduzca al desempleo masivo, lo que refleja fielmente la animosidad contemporánea hacia la IA.

"Durante varias generaciones, unos pocos se han dado cuenta del efecto de las máquinas que desplazan a los hombres, pero la capacidad momentánea de las nuevas industrias para absorber la mano de obra desplazada fue suficiente para cegar a casi todos ante las consecuencias inevitables tras el fin de esta absorción claramente temporal", afirma Lovecraft. Continúa diciendo que "A estas alturas, está prácticamente claro para todos, salvo para los capitalistas y políticos cegados por su propio interés, que la antigua relación del individuo con las necesidades de la comunidad se ha desmoronado por completo bajo el impacto de la maquinaria intensivamente productiva. Dicho sin rodeos: en una nación altamente mecanizada ya no hay suficiente trabajo que hacer, bajo ninguna circunstancia concebible, como para requerir los servicios de toda la población capaz si cada individuo trabaja a su máxima capacidad (incluso una máxima humana y racional)". Invocando la mentalidad aterradora presente en su ficción, concluye que el gobierno debe prescindir de las "ortodoxias políticas y económicas" del laissez-faire, "si se quiere evitar el peligro de un abismo revolucionario insondable".

Esencialmente, estos mismos temores son presentados como nuevos peligros de la IA del siglo XXI por poderosos republicanos y demócratas. El senador estadounidense Josh Hawley ha abogado por prohibir los autos autónomos para proteger los empleos de los conductores de autos y camiones. Además de los temores existenciales expresados en el artículo del senador Sanders en el Wall Street Journal mencionado anteriormente, también declara que la IA "destruye empleos" y ha publicado en X que "Trump quiere desregular la IA y dejar que las personas más ricas del mundo hagan lo que quieran. Inaceptable. Hará que los oligarcas se enriquezcan mientras millones pierden sus empleos e ingresos".

Las bolas blancas de Nick Bostrom

Los desastrosos resultados de muerte masiva, destrucción y perturbación económica que predicen los críticos de la IA son posibilidades reales. Pero no son amenazas exclusivas de la inteligencia artificial. Más bien, son ejemplos del peligro de la inteligencia en general.

Mucho antes de los avances que colocaron a la IA en el centro de la retórica antitecnológica, la gente imaginaba innumerables consecuencias destructivas posibles del crecimiento del conocimiento. Muchos temían que los científicos nucleares provocaran un Armagedón tecnológico al crear una reacción en cadena que destruyera la Tierra. A lo largo de la Guerra Fría y la posterior guerra contra el terrorismo, los medios de comunicación y las instituciones estatales difundieron numerosos temores sobre que los gobiernos y los grupos terroristas causaran destrucción masiva mediante la creación de armas químicas o biológicas. A lo largo del siglo XX hubo varias histerias generalizadas de que el desarrollo económico provocaría un colapso apocalíptico de los recursos antes de que terminara el siglo. Si bien la mayoría de estos temores resultaron infundados, nunca fue imposible que se hicieran realidad.

Por su propia naturaleza, el descubrimiento de nuevos conocimientos puede lograr cosas asombrosas, para bien o para mal. A medida que la ciencia y la tecnología continúan removiendo las piedras de la realidad, se revelarán nuevas posibilidades y se superarán las viejas barreras a la acción. Las consecuencias de estos nuevos descubrimientos nunca pueden predecirse completamente de antemano, porque para predecirlas habría que poseer ya el conocimiento descubierto y todo el conocimiento relacionado. Por lo tanto, siempre habrá una probabilidad distinta de cero de que el nuevo conocimiento resulte en destrucción masiva.

La pregunta es: ¿vale la pena el riesgo por la inteligencia?

Nick Bostrom, filósofo de la Universidad de Oxford y fundador del Future of Humanity Institute, se embarca en una exploración aterradora de esta pregunta en su artículo de 2019 "La hipótesis del mundo vulnerable". En él, ofrece una analogía llamada "la urna de la creatividad".

Una forma de ver la creatividad humana es como un proceso de sacar bolas de una urna gigante. Las bolas representan posibles ideas, descubrimientos e inventos tecnológicos. A lo largo de la historia, hemos extraído una gran cantidad de bolas, en su mayoría blancas (beneficiosas), pero también de varios tonos de gris (moderadamente dañinas y de resultados mixtos). El efecto acumulativo sobre la condición humana ha sido hasta ahora abrumadoramente positivo, y puede ser aún mucho mejor en el futuro…

Lo que no hemos extraído, hasta ahora, es una bola negra: una tecnología que, de manera invariable o por defecto, destruye la civilización que la inventa.

Tales bolas negras pueden incluir la IA genocida de las pesadillas de Yudkowsky, los horrores cósmicos despertados en las visiones fantasmagóricas de Lovecraft, o cualquier otra catástrofe aún inimaginable.

Cuanto más tiempo sigamos sacando nuevas bolas de la urna, argumenta Bostrom, más probable será que eventualmente nos topemos con una bola negra, poniendo fin al proyecto humano para siempre.

Pero mientras que Yudkowsky, Lovecraft, Hawley y Sanders comparten este temor al crecimiento del conocimiento, existe otra perspectiva —una perspectiva de la Ilustración— que los contradice. Los defensores de los principios fundamentales de la Ilustración sostienen que, por razones generalizables, los costos del avance científico y tecnológico valen la pena en comparación con los beneficios.

La inteligencia es una virtud, ya sea orgánica o artificial

El renombrado físico de la Universidad de Oxford, David Deutsch, sostiene que la analogía de la urna solo captura un lado de la moneda de los efectos del conocimiento sobre el riesgo existencial.

En su libro The Beginning of Infinity, Deutsch explica que el conocimiento, en lugar de ser simplemente peligroso, es lo que permite a los humanos sobrevivir en su entorno en constante cambio. Refuta la concepción de la "Nave Espacial Tierra" que muchos sostienen tácitamente, según la cual el entorno natural de la Tierra es un sistema de soporte vital: hospitalario por defecto, a diferencia del espacio exterior o de una Tierra drásticamente alterada por el cambio antropogénico.

"…Estoy escribiendo esto en Oxford, Inglaterra, donde las noches de invierno son… a menudo lo suficientemente frías como para matar a cualquier humano desprotegido por la ropa y otras tecnologías", escribe Deutsch. "Así que, mientras que el espacio intergaláctico me mataría en cuestión de segundos, Oxfordshire en su estado primitivo podría hacerlo en cuestión de horas —lo cual puede considerarse 'soporte vital' solo en el sentido más artificial".

Explica que "hoy en día existe un sistema de soporte vital en Oxfordshire, pero no fue proporcionado por la biosfera. Ha sido construido por los humanos. Consiste en ropa, casas, granjas, hospitales, una red eléctrica, un sistema de alcantarillado, etc.".

Entonces, ¿cómo sobrevivieron las personas y otros animales durante tanto tiempo sin la tecnología moderna? En general, no lo hicieron. Hasta hace tan solo 1900 años, y durante toda la historia anterior, la esperanza de vida humana era aproximadamente la mitad de lo que es hoy. Los seres humanos morían constantemente de hambrunas, enfermedades y otras dolencias que podrían haberse resuelto con el conocimiento adecuado. Casi todas las demás especies fueron exterminadas por completo. Se estima que más del 99 por ciento de las especies que alguna vez existieron en la Tierra ahora están extintas.

Pero la tecnología moderna apenas ha arañado la superficie a la hora de resolver todos los problemas mortales que probablemente afectarán a la humanidad. Al igual que la gente de Oxfordshire necesita ropa y otras tecnologías para sobrevivir hoy en día, la humanidad morirá pronto a menos que adquiera nuevos conocimientos científicos y tecnológicos para protegerse contra amenazas exógenas como los asteroides, las explosiones de supernovas, la expansión del sol y un sinfín de otras, la mayoría de las cuales probablemente aún no se han descubierto. Para maximizar sus posibilidades en la carrera armamentista contra un entorno en constante cambio, la humanidad debe expandir constantemente sus horizontes de investigación y descubrimiento hacia lo infinito desconocido.

En una entrevista con Dwarkesh Patel, Deutsch explica las implicaciones de esta circunstancia con respecto a la urna del descubrimiento de Bostrom: "El frasco de Nick Bostrom con bolas blancas, y hay una bola negra, y sacas una bola blanca, y otra bola blanca, y otra bola blanca, y luego te toca la bola negra y ese es tu fin. No creo que sea así, porque cada bola blanca que sacas y tienes reduce el número de bolas negras en el frasco".

Cuando un asteroide provocó la extinción del Cretácico-Paleógeno hace 66 millones de años, acabando con alrededor del 76 por ciento de todas las especies del planeta en ese momento, esas especies, en efecto, se topaban con lo contrario de una "bola negra": necesitaban tecnología de defensa contra asteroides, que los humanos han desarrollado recientemente, pero no la tenían. Y se podrían contar historias similares sobre todos los demás eventos de extinción masiva en la historia de la Tierra, y las futuras extinciones masivas que seguramente vendrán si los humanos no avanzan en la tecnología lo suficientemente rápido.

Si bien el aumento de la inteligencia, ya sea artificial o de otro tipo, plantea serias amenazas para la humanidad, el estancamiento o la disminución de la inteligencia es una sentencia de muerte aún más segura.

Es probable que una IA lo suficientemente poderosa como para acabar con los humanos sea también una panacea para descubrir y prevenir otras amenazas existenciales prácticamente infinitas, ya sean biológicas, cósmicas o de otro tipo.

Si bien los riesgos existenciales crean ejemplos especialmente destacados de las posibles ventajas y desventajas de la inteligencia, la misma lógica se aplica a la acción moralmente virtuosa en general. Si hay verdades morales por descubrir y conocer, la inteligencia general debería ser capaz de conocerlas sin importar en qué sustrato exista. El conocimiento es conocimiento, ya sea codificado en sustancias químicas del cerebro o en chips de silicio.

Como argumenta Deutsch en una entrevista con Sam Harris, "…el problema de las IA es el problema de los humanos. …los humanos son peligrosos, y en esa medida las IA también lo son, pero la idea de que las IA son de alguna manera más peligrosas que los humanos es racista".

Creo que la acusación de racismo de Deutsch se lanza en parte en broma, pero también apunta a una profunda similitud entre el sesgo contra la agencia de pueblos extranjeros y el de misteriosas inteligencias artificiales. Lovecraft ha sido ampliamente acusado de racismo por su tratamiento temeroso de las culturas y los pueblos extranjeros, lo que parece ir de la mano con su miedo y desconfianza generales hacia lo desconocido. No hay razón para suponer que las percepciones de las entidades de IA no se verían a veces empañadas por los mismos prejuicios subyacentes, que tienen su utilidad como protección contra amenazas desconocidas, pero que también pueden llevar a las personas a actitudes y comportamientos oscuros y destructivos.

Si las personas deben ser pesimistas sobre las consecuencias de la inteligencia artificial, también deberían serlo sobre las consecuencias de la inteligencia en general. Por el contrario, si se justifica el optimismo sobre la agencia humana, que es fundamentalmente una cuestión de inteligencia humana, entonces también se justifica el optimismo sobre la inteligencia artificial.

Este artículo fue publicado originalmente en HumanProgress.org (Estados Unidos) el 2 de junio de 2026.