Varios ingenieros de IA quieren poder hablar libremente de sus riesgos. La «extinción de la humanidad» está en juego

Recientemente, Leopold Aschenbrenner, investigador de OpenAI responsable de garantizar la seguridad de sus modelos, ha sido despedido. La razón es que ha planteado preocupaciones sobre la seguridad de sus modelos y ha difundido un documento que, según OpenAI, contenía información confidencial, una acusación que él rechaza.

Hemos visto movimientos similares en el pasado. En mayo de 2023, Geoffrey Hinton, uno de los «padrinos de la IA», dejó Google para advertir libremente sobre sus «aterradores» peligros.

Anteriormente, a finales de 2020, había ocurrido algo similar con Timnit Gebru, una ingeniera de la división ética de IA de Google. A pesar de que sus jefes le pidieron que no publicara un estudio, fue despedida. Una cosa ha quedado evidente después de todo esto.

Si conoces los riesgos de la IA y trabajas en ella, estás en lo correcto.

Escena de la película de 1991,’Terminator 2′, para referencia.
Analizar los peligros

El principal motivo detrás de la publicación de una carta abierta por parte de un grupo de empleados de OpenAI y Google DeepMind hace algunas horas ha sido ese. De acuerdo con ellos, las empresas de inteligencia artificial deberían poder discutir los peligros de la IA sin temor a represalias.

La misiva titulada «Derecho a advertir sobre la inteligencia artificial avanzada» recopila las ideas de los 13 exempleados, quienes también pueden unirse a la petición, y resume una situación preocupante en la industria: la de que se está avanzando demasiado rápido y sin considerar los riesgos asociados a esos avances.

Los defensores sostienen que aunque la inteligencia artificial puede beneficiar a la humanidad, también presenta peligros importantes como el aumento de las desigualdades, su uso para la manipulación o la difusión de información y la posibilidad de perder el control de los sistemas de IA autónomos, lo que podría llevar a la extinción de la humanidad.

Según The New York Times, Daniel Kokotajlo, un exinvestigador de la división de gobernanza de OpenAI, habló. De acuerdo con su afirmación, la organización está «muy entusiasmada con la creación de una AGI y están persiguiendo de manera arriesgada ser los primeros en entrar».

En su carta abierta, estos ingenieros solicitan que las empresas eviten castigar a los trabajadores que mencionan los riesgos. Además, defienden la posibilidad de compartir información confidencial relacionada con esos riesgos en caso de que otros métodos de alerta del peligro fallan.

Las represalias parecen estar presentes: según datos recientes, OpenAI utilizaba acuerdos de confidencialidad muy restrictivos que afectaban directamente este tipo de divulgación de riesgos. Por lo tanto, si quieres criticarme, deja de hacerlo. Sam Altman negó dichos términos y afirmó que revisarán ese tipo de condiciones en caso de que un empleado abandone la empresa.

El texto habla sobre la firma de una carta abierta por parte de personalidades como Yoshua Bengio, Geoffrey Hinton, Stuart J. Russell y Yann LeCun. Mientras algunos expertos consideran exagerado y prematuro el debate sobre el riesgo existencial de la inteligencia artificial, otros creen que es ético y moralmente ideal discutir estos riesgos.

Te puede interesar: