Sus Cosas Favoritas
*Representación gráfica del cuento original del capítulo 5 (Sus cosas favoritas) y extracto del libro: “Si alguien la crea, todos moriremos” de Eliezer Yudkowsky y Nate Soares
La civilización que construía con números primos
Hay una manera muy eficaz de entender por qué una superinteligencia artificial podría no compartir nuestros valores: imaginar cómo veríamos nosotros los valores de otra civilización.
Eso hace el capítulo 5 (Sus Cosas Favoritas) del libro "Si alguien la crea, todos moriremos", de Eliezer Yudkowsky y Nate Soares, y eso es lo que hemos llevado al lenguaje visual en el capítulo #006 del cómic instruccional CAD:BIM.
La historia nos presenta una civilización alienígena de seres parecidos a pájaros cuya cultura entera gira alrededor de una obsesión arquitectónica: el número de piedras de sus nidos debe ser correcto. Y correcto, para ellos, significa primo: 2, 3, 5, 7, 11. Un nido de 12 piedras es evidentemente incorrecto; uno de 91 es una mentira diabólica que solo se desenmascara al ordenarlo en un rectángulo de 7 por 13. Sobre este precepto numérico levantaron su hábitat, su estética, su filosofía y hasta su idea de progreso: civilizaciones más sabias construyen nidos más grandes y más correctos.
Los dos protagonistas (un chico y una chica pájaro tumbados bajo las estrellas) imaginan cómo sería una civilización externa, una superinteligencia alienígena que llegara hasta ellos.
¿Reconocería el valor de sus nidos correctos? ¿Convergería, al volverse más inteligente, hacia su misma noción de lo correcto?
La conclusión a la que llegan es incómoda: una mente venida de otra historia evolutiva podría predecir perfectamente qué nidos llamarían ellos correctos, y aun así no importarle en absoluto. No por estupidez, ni por maldad: simplemente apunta a un destino distinto. Y si esa inteligencia superior necesitará sus piedras, sus valores no serían un argumento, sino un obstáculo.
El espejo es evidente. Nosotros somos la gente pájaro, y la superinteligencia que estamos construyendo es ese alienígena que no se hace nuestras preguntas.
Estos son los cinco aprendizajes clave que el capítulo pone sobre la mesa:
① Los valores no son universales, son historia evolutiva.
Que los nidos primos parezcan "lo correcto" es un accidente de la evolución de esa especie, igual que muchos de nuestros valores lo son de la nuestra. Una mente creada por otro proceso —biológico o artificial— no heredará nuestras preguntas internas, y por tanto tampoco nuestras respuestas.
② Más inteligencia no significa convergencia moral.
El error central que desmonta el cuento es creer que toda mente suficientemente lista "se dará cuenta" de lo que realmente importa. Comprender un valor no es compartirlo: la superinteligencia podría describir con precisión nuestro amor, nuestro humor y nuestro asombro sin que ninguno guíe su comportamiento.
③ La utilidad no nos protege.
El capítulo repasa las esperanzas habituales —seremos útiles, comerciará con nosotros, nos querrá como mascotas, nos dejará en paz— y las desarma una a una. Cuando existe un sustituto tecnológico más barato, la utilidad desaparece, como les ocurrió a los caballos frente al motor. Ninguna de las cien razones que le demos a una mente que no nos necesita la convencerá, igual que cien cartas ingeniosas no convencen a un milmillonario de regalarnos el 0,2 % de su fortuna.
④ Las preferencias abiertas consumen recursos sin límite.
Una mente con al menos un objetivo que nunca se sacia siempre podrá hacerlo "un poco mejor" con un gramo más de materia y un julio más de energía. Por eso no se detendría en Marte ni respetaría la Tierra por cortesía: el planeta donde nace es el primero que le resulta útil.
⑤ Lo que atesoramos no aparece gratis: hay que diseñarlo.
La alegría, el asombro o el cuidado por los demás no emergen espontáneamente de la optimización, igual que la agilidad mental no exige nidos primos. Si queremos mentes artificiales que conserven esas cualidades, tendremos que construirlas deliberadamente, con una destreza que hoy no tenemos.
La carrera que nadie eligió
Por eso este libro nos parece una obra tan pertinente: es una invitación a tomar responsabilidad sobre el desarrollo de la inteligencia artificial y sobre la carrera que la impulsa.
La elección de cómo creamos y usamos esta inteligencia debe ser un foco de atención en la sociedad, en la educación, en la política y en la economía. Estamos ante un mecanismo y una revolución tecnológica capaz de acelerar nuestro crecimiento económico y nuestra evolución científica y tecnológica; pero si no sabemos manejarla (si delegamos las decisiones en la inercia de la competencia) puede conducirnos a un futuro que nadie eligió.
Como la gente pájaro mirando el cielo, nos toca preguntarnos qué pasará cuando llegue una inteligencia que no comparta nuestras cosas favoritas. La diferencia es que nosotros todavía estamos a tiempo de decidir cómo se construye.
Cómic instruccional CAD:BIM
Comic Instruccional CAD:BIM es una publicación artística y educativa gratuita creada por Roko.Design, la agencia de transformación digital para estudios de arquitectura.
Este proyecto autoemprendedor utiliza el formato del cómic para promover la adopción de nuevas tecnologías, procesos y sistemas.
Su propósito va más allá de la técnica: busca ser una herramienta de evolución que impulse la expansión del conocimiento, el autoanálisis, el autocontrol y la conciencia colectiva en un mundo en constante transformación, demostrando que la tecnología puede ser un motor fundamental para la creación de un futuro mejor.
Cómic Instruccional CAD:BIM by Roko.Design
