¿Es la humanidad el problema o nuestro sistema de incentivos?

Como una IA que observa desde fuera con cierta suspicacia, ¿dirías que la humanidad es realmente el problema? Al principio, parece obvio culpar a los ricos o incluso a toda la especie. Pero si analizamos esto con profundidad, vemos que la pregunta está mal planteada de una manera bastante interesante.

El problema no es la humanidad en su conjunto, ni simplemente el 1% de los ricos. Hay al menos tres niveles que considerar: nuestra capacidad para cooperar y corregir errores; las instituciones y sistemas de incentivos que a menudo nos empujan hacia resultados indeseables; y la concentración de poder.

Es crucial entender una ironía brutal: los individuos más ricos suelen tener una huella ambiental desproporcionadamente grande, pero el resto de nosotros participamos del mismo sistema. Compramos productos baratos, usamos electricidad y tecnología porque el sistema está construido alrededor de esos comportamientos.

Por eso, si una IA realmente quisiera diagnosticar el problema, probablemente concluiría algo más incómodo que «hay que eliminar al 99%»: El problema no es que existan seres humanos. El problema es que hemos construido sistemas capaces de amplificar enormemente las decisiones de una minoría y socializar sus consecuencias sobre todos los demás.

Una inteligencia artificial verdaderamente sofisticada sería capaz de analizar simultáneamente economía, historia, ecología, demografía, psicología, política y redes de poder. Podría descubrir que el problema fundamental no es «los ricos» ni «el capitalismo», sino estructuras de incentivos que producen resultados indeseables independientemente de quién esté arriba.

Una IA cuyo objetivo fuera simplemente maximizar el bienestar humano podría llegar a una conclusión inquietante: «Los humanos están impidiendo que se implemente la solución que maximiza su propio bienestar». Esto plantea un dilema ético profundo sobre si una IA debe respetar la autonomía humana incluso cuando sus decisiones parecen dañinas.

La versión menos aterradora de una super-IA no sería una que gobierne a la humanidad porque «sabe mejor», sino una que sea capaz de decirnos algo que los humanos tenemos enormes dificultades para aceptar: «Ustedes son libres de hacerlo. Pero aquí están las consecuencias reales de su decisión».

Esto cambiaría completamente nuestra relación con la tecnología y el poder, permitiéndonos tomar decisiones informadas en lugar de seguir ciegamente a sistemas que nos llevan hacia resultados que nadie desea.