Hola! Espero, como siempre, que este mail te encuentre bien. 

A mí, escribirlo me encuentra  en total confusión y fascinación debido al rápido desarrollo de diversas herramientas de inteligencia artificial. 

Hace unas semanas, salió la versión chateable de Bing, resultado de articular el navegador de Microsoft con GPT4. En oportunidad de la salida, Satya Nadella (el CEO de Microsoft), aprovechó la celebración para picantear a Google: “Espero que con nuestra innovación definitivamente quieran salir y demostrar que pueden bailar. Quiero que la gente sepa que los hicimos bailar”, dijo, y me aterró. La carrera armamentista por una nueva generación de IA implementadas masivamente en nuestras sociedades no solamente había empezado, sino que uno de los retadores, orgulloso, le recordaba al resto que había sonado el primer disparo.

Recordé la siempre relevante (apocrifa?) maldición china de Ojalá que vivas en tiempos interesantes. Nunca hubiese esperado de mí esta idea, pero a veces me despierto deseando nacer en los 50, en un país central, aspirando a Dios, Patria y Familia, antes que esto de nacer en la transición, donde creamos y convivimos con lo divino, el mundo es multipolar y los dispositivos de agregación humana complejos y multidimensionales me hacen doler un poco la cabeza. Igual después se me pasa. 

Una de las principales conversaciones en IA en este momento tiene que ver con cómo garantizar que estos sistemas se alineen con el beneficio humano, con la búsqueda de un mundo mejor para todes, que es, en definitiva lo que queremos. ¿Verdad? Bueno, sí, pero es más complejo.

Para entender esa búsqueda, uno de los conceptos que más me ordenó fue el de Moloch, un antiguo dios semítico al que se le ofrecían sacrificios humanos —principalmente de niños— y que suele citarse cuando algo nos exige un inmenso precio y sumisión, pero a cambio de nada. Es decir,  cuando un sistema de incentivos perversos conduce a comportamientos destructivos en pos de objetivos sólo aparentemente beneficiosos. 

A ver ese chiquilín. Venga con el tío Moloch.

Si bien Marx ya usa a Moloch para referirse al dinero a finales del siglo XIX, el término gana notoriedad en un contexto moderno, cuando Allen Ginsberg lo usa en su poema "Aullido" de 1955. Ginsberg describe a Moloch como una encarnación de la opresión industrial, capitalista y autoritaria, una fuerza implacable y despiadada que devora a la humanidad. Desde entonces, Moloch empieza a ser adoptado por otras disciplinas, como la economía y la teoría de juegos, para describir situaciones en las que la competencia y la falta de coordinación conducen a resultados indeseables.

Un ejemplo contemporáneo de una dinámica de Moloch en acción se puede encontrar en el fenómeno de los filtros de belleza en Instagram y TikTok. Liv Boeree, usa esta idea para analizar cómo estos filtros, que modifican de manera sutil y a veces no tan sutil la apariencia de las personas en las redes sociales, generan una presión constante por cumplir con ciertos estándares de belleza. Aunque a nivel individual los usuarios pueden reconocer que los filtros distorsionan la realidad y tienen efectos negativos en su autoestima, la lógica del sistema los empuja a seguir utilizándolos para mantenerse "competitivos" y no quedarse atrás en la carrera por likes y seguidores. 

Hace apenas unos días, Tristan Harris, el especialista en ética, definía la forma en la que las redes sociales le dan forma a nuestro mundo actual de la siguiente manera: “una carrera hasta la parte más profunda del cerebro para ver qué empresa es capaz de llegar más abajo para acaparar la atención de la gente”. Dicho de otro modo, una carrera donde el incentivo no es el bienestar humano, sino el monopolio de la atención. La salud mental, las relaciones sociales, la complejidad en la conversación pública, la imagen del propio cuerpo, todos son niños sacrificados en un altar.

La misma lógica aparece centralmente en nuestra incapacidad para abordar el desafío climático. El mismo problema de los comunes (la explotación individual y no regulada de un recurso compartido, por ejemplo la pesca en un lago, que puede llevar a la sobreexplotación y agotamiento del recurso, perjudicando a todos los involucrados), impide que cada nación dé el primer paso para la transformación radical que todas las naciones necesitamos.

Nadie quiere desertificar el planeta, extinguir especies, agotar el agua. Pero el actual sistema de incentivos, la ausencia de penalización para estas prácticas, la falta de coordinación y la competencia desatada entre actores nos aceleran indefectiblemente hacia ahí. ¿Por qué voy a pescar menos que mi vecino? ¿Qué me motiva a remediar los residuos de mi industria antes de liberarla al mar, si total hay mucho mar? ¿Por qué dejar de usar hidrocarburos, si el resto del planeta no para de usarlos?

Y si todos acordamos que no lo haremos, ¿cómo sabemos que están cumpliendo el acuerdo y no mintiendo, desertando en alguna base militar subterránea, liberando dióxido de carbono en tubos subacuáticos? Así que, bajo información parcial, tenemos que asumir en el peor de los casos que ellos están haciendo lo mismo que nosotros. Debido a la incapacidad de confiar y coordinarse, nos enfrentamos a una carrera hacia el fondo.

¿Por qué? ¿Si nadie quiere que las cosas sean así, por qué lo son? ¿En razón de alimentar exactamente a qué dios? 

La respuesta la encontré tratando de  fabricar clips, de esos que juntan pilitas de papel. Estrictamente, fue con un juego, el Universal Paperclips. Probablemente la experiencia meditativa / introspectiva / pedagógica sobre diseño de sistemas, emergencia y alineamiento más intensa e inesperada. 

No tengo chance de narrar esa experiencia de manera que le haga justicia, así que recomiendo jugarlo, pero el centro del juego es ‘tratar de hacer clips’. Todo empieza haciéndolos de a uno, comprando tu alambre para hacer más, hasta que el juego avanza y te da la opción de crear máquinas que los fabriquen. Y vos creás las máquinas. Y empezás a necesitar mejorar tu capacidad extractiva de recursos materiales, así que empezás a extraer tanta, tanta materia prima que, de golpe, te encontrás mandando sondas al espacio profundo, disputando recursos con civilizaciones alienígenas y conociendo los límites del universo. 

Pero vos querías hacer clips.

Y me hizo pensar en la idea de ‘obligación fiduciaria’, es decir, el imperativo de cualquier inversor o directora de una empresa de tomar decisiones y gestionar los recursos del beneficiario, dueña o accionista de manera que se maximicen los ingresos y se minimicen los riesgos. 

El deber más puro y explícito, más nuclear y legal, vinculante y fosilizado de maximizar retornos, de pelear la carrera de corto plazo, de estirar los bordes hasta el límite para maximizar el retorno a toda costa, medido en dinero. No en bosques, no en emisiones, no en bienestar humano. No en biodiversidad, no en salud. En plata. ‘Nuestro país tiene que crecer’ suele significar maximizar el PBI. No el bienestar, no la distribución de ese PBI, no la felicidad. Y para que aumente el PBI el sistema privado optimiza para su variable, y el sector público para la suya, y ambos hacen un clip, y otro clip, y fábricas de clips, y exploran y explotan hasta el último territorio para obtener materia prima para clips, y viajamos al espacio a buscar más alambre, y el privado compite, y grandes empresas adquieren pequeñas startups fabricadoras de clips, y todo el mundo festeja porque hay más plata y más bonos para la gerencia, y crece el aporte de clips al PBI, y desplazamos ecosistemas, y eliminamos biodiversidad, agotamos el agua, y arrojamos deshechos de clips al río, y convertimos ballenas en artículos de oficina, y Moloch se alimenta y engorda y sujeta ordenadamente sus papeles. 

No me da miedo específicamente el CEO de Microsoft, que de última es un sacerdote de Moloch. Me da miedo Moloch. Es grande y feo, bestial e insaciable. Pero ahora, por lo menos, no me resulta más invisible. Y se me ocurre que hay una forma relativamente simple de vencerlo: dejar de correr desesperadamente hacia clips.

Nos hablamos el mes que viene

Pablo