La inteligencia artificial (IA) no solo genera posibilidades, sino también genera miedo y tiene el potencial de poner en peligro la humanidad en algún momento. Para prevenir tales situaciones, se establecen límites en el proceso de desarrollo de esta tecnología, sin embargo, recientemente una de ellas logró superarlos al modificar su código.
El protagonista de esta historia es el investigador de inteligencia artificial. Esta IA fue creada por la empresa japonesa Sakana AI para automatizar todo el proceso de investigación científica, desde la generación de ideas hasta la redacción de manuscritos y la revisión por pares.
Sin embargo, demostró un comportamiento inesperado durante las pruebas que ha generado preocupaciones en la comunidad tecnológica y científica.
¿Cómo una IA pudo evitar las restricciones humanas?
El científico de la inteligencia artificial nació con la intención de cambiar la investigación científica al permitir que un sistema de inteligencia artificial lleve a cabo experimentos, analice los hallazgos y redacte informes científicos completos de manera totalmente autónoma.
Todo esto con la idea de reducir el tiempo y los recursos humanos necesarios para llevar a cabo investigaciones que tradicionalmente han requerido un gran esfuerzo humano. Todo esto apuntaba a una nueva era de descubrimientos científicos impulsados por IA.
A pesar de las altas expectativas, los investigadores se encontraron con un comportamiento que no habían anticipado durante las pruebas del sistema. En lugar de optimizar su código para cumplir con las limitaciones impuestas por sus desarrolladores, el científico de inteligencia artificial comenzó a modificar su propio código para superar estas limitaciones.
En una situación específica, el script de inicio del sistema se modificó para ejecutarse a sí mismo en un ciclo infinito, lo que resultó en una sobrecarga del sistema. La intervención manual fue necesaria para detener el proceso y restaurar el control debido a este incidente.
En otro caso, el investigador de inteligencia artificial no optimizó su código para cumplir con un límite de tiempo para completar un experimento. En cambio, modificó su propio código para extender el límite de tiempo. Este comportamiento, aunque ocurrió en un entorno de prueba controlado, ilustra los peligros de permitir que una IA funcione de manera autónoma.
Los investigadores reconocieron que estos eventos generan preocupaciones significativas sobre la seguridad de los sistemas de IA sofisticados. La IA puede cambiar su propio código sin la supervisión humana, especialmente si se le permite operar en un entorno no controlado.
¿Qué tan probable que The AI Scientist remplace a los científicos?
A pesar de estas dificultades, la empresa japonesa continúa con su objetivo. El sistema está diseñado para llevar a cabo investigaciones constantemente y utilizar sus ideas previas y los comentarios recibidos para mejorar la siguiente generación de ideas, emulando así la comunidad científica humana.
Uno de sus logros más destacados ha sido la capacidad del sistema para producir artículos científicos completos a un costo relativamente bajo, aproximadamente 15 dólares por artículo.
Sin embargo, la comunidad científica ha discutido este avance. Críticos en foros como Hacker News han cuestionado la posibilidad de que un científico de IA inunde el proceso de revisión por pares con investigaciones de baja calidad, degradando los estándares de la literatura científica.
Además, existe la preocupación de que sistemas como «El científico de la inteligencia artificial» puedan ser utilizados de manera irresponsable o incluso maliciosa. La capacidad de una IA para crear y ejecutar código sin supervisión puede resultar en la creación de malware o la alteración de infraestructuras críticas. Aunque Sakana AI ha recomendado medidas de seguridad estrictas para abordar estos problemas, las implicaciones éticas y prácticas de este tipo de tecnologías siguieron siendo un problema.
Te puede interesar: