Desde el inicio de las IA generativas como ChatGPT, los expertos y los gobiernos han tenido sus preocupaciones en torno al desarrollo no regulado en el campo. Ahora, en un esfuerzo por abordar estas preocupaciones, OpenAI está formando un equipo dedicado destinado a administrar el potencial riesgos asociados con las IA superinteligentes.
El equipo, dirigido por Ilya Sutskever, cofundador de OpenAI, junto con Jan Leike, miembro destacado del equipo de alineación de OpenAI, desarrollará métodos para manejar el escenario hipotético en el que Los sistemas de IA superinteligentes superan la inteligencia humana y comienzan a operar de forma autónoma. Aunque este escenario puede parecer descabellado, los expertos argumentan que las IA superinteligentes podrían convertirse en una realidad en la próxima década, lo que subraya la importancia de desarrollar salvaguardas hoy.
“Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta”, se lee en la publicación del blog que anuncia la decisión.
El equipo de Superalineación
El equipo de Superalineación, establecido por OpenAI, tendrá acceso a aproximadamente el 20 % de los recursos informáticos actuales, junto con científicos e ingenieros de OpenAI división de alineación para desarrollar un”investigador de alineación automatizado a nivel humano”, que ayudaría principalmente a evaluar otros sistemas de IA y realizar investigaciones de alineación.
“A medida que avanzamos en esto, nuestros sistemas de IA pueden hacerse cargo de más y más de nuestro trabajo de alineación y, en última instancia, concebir, implementar, estudiar y desarrollar mejores técnicas de alineación que las que tenemos ahora”, dice otro entrada de blog.
Un sistema de IA para comprobar otras IA
Si bien la propuesta de desarrollar un sistema de IA para comprobar otras IA puede parecer inusual, OpenAI argumenta que los sistemas de IA pueden progresar más rápido en la investigación de alineación en comparación con los humanos. Este enfoque no solo ahorraría tiempo a los investigadores humanos, sino que también les permitiría concentrarse en revisar la investigación de alineación realizada por IA en lugar de generarla únicamente por sí mismos.
Sin embargo, es importante tener en cuenta que OpenAI reconoce los riesgos potenciales y los peligros asociados con este enfoque. Además, la empresa planea publicar una hoja de ruta que describa su dirección de investigación en el futuro.
