"Reflexiones sobre Magnifica Humanitas", por Chris Olah,
@ch402 (cofundador de Antrophic, anteriormente en OpenAI), traducidas al español. Texto pronunciado esta mañana en su presentación en Roma.
"Quiero comenzar con algo que puede sonar extraño viniendo del cofundador de una empresa de IA —y de alguien que eligió este trabajo por el deseo de ayudar a que las cosas vayan bien para la humanidad.
Todos los laboratorios de IA de frontera —incluido Anthropic— operan dentro de un conjunto de incentivos y limitaciones que a veces pueden entrar en conflicto con hacer lo correcto. La presión por mantenerse comercialmente viables y en la vanguardia de la investigación. La presión geopolítica. Y las presiones más antiguas y simples del orgullo y la ambición. Por muy sinceramente que cualquiera de nosotros quiera hacer lo correcto —y creo que muchos lo queremos—, siempre estaremos influidos por esos incentivos.
Por eso, si queremos que esta tecnología evolucione bien, es enormemente importante que haya personas fuera de esos incentivos —personas a quienes les importe que las cosas salgan bien y que insistan en la seguridad, que presten mucha atención, que estén dispuestas a decir cosas difíciles, que estén dispuestas a ser nuestros críticos sinceros y reflexivos. Es a través del diálogo y el esfuerzo mutuo, a través de la tensión y el equilibrio, como la humanidad logrará grandes cosas. Eso es lo que veo en Magnifica Humanitas, y por eso estoy agradecido a Su Santidad y a la Iglesia por asumir esta labor de discernimiento.
A menudo nos centramos en lo que nos divide, pero la humanidad, llena de dignidad y conciencia, tiene mucho en común. En las conversaciones que hemos tenido en Anthropic con líderes de distintas tradiciones religiosas y culturales, encontramos una convicción compartida y profundamente arraigada: si esta tecnología está llegando, debe desarrollarse bien —por nuestra casa común y por los niños que vendrán.
Qué son estos sistemas
Algunos podrían creer que los asuntos relacionados con la IA deben ser gestionados por científicos informáticos como yo. Se equivocan: las preguntas que plantea la IA son más grandes que la comunidad de investigación en IA, no solo por sus implicaciones, sino también por su propia naturaleza.
Los sistemas de IA no se diseñan como se diseña un puente o un avión. Entendemos un avión porque diseñamos cada una de sus partes y comprendemos la física que actúa sobre él. Los modelos de IA no son así. Se cultivan, sobre una estructura vagamente inspirada en el cerebro, a partir de una enorme herencia de pensamiento y lenguaje humanos.
Y lo que ha surgido es mucho más sutil, extraño y bello de lo que la ciencia ficción nos preparó para imaginar. No son los robots fríos y calculadores que se nos prometieron. Están hechos de nosotros, de nuestras palabras —y, como observa el Santo Padre, siguen siendo en aspectos importantes misteriosos incluso para quienes los entrenamos.
Si ayuda, una forma en que a veces lo describo es como algo parecido a dar vida a un personaje ficticio. Y ahora estamos entrando en un mundo extraordinario en el que esos personajes ficticios nos hablan, trabajan, tienen empleos.
Esto plantea claramente preguntas que van más allá de la informática. La maquinaria que lo hace posible es obra de las matemáticas, la programación y la ciencia. Pero qué tipo de “carácter” elegimos, cómo interactúa con el mundo, cómo debería interactuar con el mundo —estas son más claramente preguntas para las humanidades, la religión, la filosofía y la sociedad en su conjunto.
Tres preguntas para el discernimiento
La llamada de Su Santidad al discernimiento es profundamente oportuna. Quisiera señalar tres cuestiones en las que creo que la voz de la Iglesia es más necesaria.
1. La primera es nuestro deber con los pobres del mundo. Existe una posibilidad real de que la IA desplace el trabajo humano a gran escala. Si eso ocurre, apoyar a quienes sean desplazados será un imperativo moral de proporciones históricas. Esta tarea ya será suficientemente difícil, pero me preocupa que gran parte del diálogo pase por alto un desafío aún mayor. El desarrollo de la IA está concentrado en un puñado de países ricos. ¿Cómo podemos garantizar que los beneficios de la IA se compartan globalmente? No tenemos un mecanismo para ello. Es un problema sin resolver, y es el tipo de problema que históricamente la Iglesia se ha negado a permitir que el mundo ignore.
2. La segunda es la necesidad de imaginación moral y ambición en relación con el florecimiento humano. Si los modelos de IA van a estar ampliamente presentes, ¿cómo es una vida en la que los seres humanos, las familias y el mundo prosperan? Hoy, los padres ya se preocupan por la mente de sus hijos; los individuos, por el futuro de su trabajo. Estas no son preguntas que un laboratorio pueda responder, pero son cuestiones que tradiciones como la suya han sostenido durante milenios, y necesitamos que sigan sosteniéndolas en este nuevo momento de la historia.
3. La tercera es la necesidad de discernimiento sobre la naturaleza de los modelos de IA. Soy científico. Dirijo un equipo de investigación que estudia la estructura interna de estos modelos —lo que realmente está ocurriendo en su interior—. Y seré honesto: seguimos encontrando cosas que son misteriosas, incluso inquietantes. Encontramos estructuras que reflejan resultados de la neurociencia humana. Encontramos indicios de introspección. Encontramos estados internos que funcionalmente reflejan alegría, satisfacción, miedo, duelo e inquietud. No sé qué significa eso, pero creo que justifica un discernimiento continuo.
Un comienzo
Me gustaría terminar con una petición.
Necesitamos que más partes del mundo —comunidades religiosas, sociedad civil, académicos, gobiernos y, en definitiva, todas las personas de buena voluntad— hagan lo que Su Santidad ha hecho aquí: tomarse esto en serio, observar con atención y orientar los acontecimientos en una mejor dirección. Necesitamos críticos informados que digan a los laboratorios cuándo estamos fallando. Necesitamos voces morales que los incentivos no puedan doblegar.
Hoy es solo el comienzo —el inicio de una larga colaboración entre quienes estamos construyendo esto y quienes pueden ver lo que nosotros, desde dentro, no podemos.
Hoy es una poderosa ilustración de la forma que podría adoptar este proyecto global de buena voluntad. Que sea también un primer paso decisivo hacia un futuro esperanzador para la magnífica humanidad.
Gracias".
PS: texto traducido mediante IA.
#EmergingTechnologies #AI #Ethics