Al equipo Superalignment de OpenAI, responsable de desarrollar formas de conducir y dirigir sistemas de IA «superinteligentes», se le prometió el 20% de los fortuna informáticos de la empresa, según una persona de ese equipo. Pero las solicitudes de una fracción de ese cálculo a menudo eran rechazadas, lo que impedía que el equipo hiciera su trabajo.
Ese problema, entre otros, empujó a varios miembros del equipo a renunciar esta semana, incluido el codirector Jan Leike, un ex investigador de DeepMind que, mientras estuvo en OpenAI, estuvo involucrado en el explicación de ChatGPT, GPT-4 y el predecesor de ChatGPT, InstructGPT.
Leike hizo públicas algunas razones de su dimisión el viernes por la mañana. «He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante asaz tiempo, hasta que finalmente llegamos a un punto de ruptura», escribió Leike en una serie de publicaciones en X. «Creo que deberíamos comprar mucho más de nuestro orgulloso de cuadrilla en prepararnos». para las próximas generaciones de modelos, sobre seguridad, monitoreo, preparación, protección, robustez adversarial, (super)alineamiento, confidencialidad, impacto social y temas relacionados. Es asaz difícil solucionar estos problemas y me preocupa que no estemos en el camino correcto para presentarse allí”.
Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa.
OpenAI asume una enorme responsabilidad en nombre de toda la humanidad.
– Jan Leike (@janleike) 17 de mayo de 2024
OpenAI no respondió de inmediato a una solicitud de comentarios sobre los fortuna prometidos y asignados a ese equipo.
OpenAI formó el equipo Superalignment en julio pasado, y estaba dirigido por Leike y el cofundador de OpenAI, Ilya Sutskever, quien todavía renunció a la compañía esta semana. Tenía el arribista objetivo de resolver los principales desafíos técnicos del control de la IA superinteligente en los próximos cuatro abriles. Próximo con científicos e ingenieros de la división de alineamiento antedicho de OpenAI, así como con investigadores de otras organizaciones de la empresa, el equipo debía contribuir con investigaciones que informaran sobre la seguridad de los modelos internos y no OpenAI y, a través de iniciativas que incluyen un software de subvenciones para investigación. , solicitar y compartir trabajo con la industria de la IA en universal.
El equipo de Superalignment logró imprimir un conjunto de investigaciones sobre seguridad y canalizar millones de dólares en subvenciones a investigadores externos. Pero, a medida que los lanzamientos de productos comenzaron a consumir una cantidad cada vez longevo del orgulloso de cuadrilla del liderazgo de OpenAI, el equipo de Superalignment se vio obligado a contender por más inversiones iniciales, inversiones que creía que eran críticas para la cometido declarada de la compañía de desarrollar IA superinteligente para el beneficio de toda la humanidad. .
«Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa», continuó Leike. «Pero en los últimos abriles, la civilización y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes».
La batalla de Sutskever con el director ejecutante de OpenAI, Sam Altman, sirvió como una importante distracción adicional.
Sutskever, adyacente con la antigua corporación directiva de OpenAI, tomó medidas para despedir abruptamente a Altman a fines del año pasado por preocupaciones de que Altman no había sido «consistentemente sincero» con los miembros de la corporación. Bajo la presión de los inversores de OpenAI, incluido Microsoft, y muchos de los propios empleados de la empresa, Altman finalmente fue reintegrado, gran parte de la corporación directiva renunció y, según se informa, Sutskever nunca volvió a trabajar.
Según la fuente, Sutskever jugó un papel fundamental para el equipo de Superalignment, no solo contribuyendo con la investigación sino todavía sirviendo como puente alrededor de otras divisiones interiormente de OpenAI. Incluso actuaría como una especie de embajador, destacando la importancia del trabajo del equipo entre los tomadores de decisiones secreto de OpenAI.
Estoy muy agradecido por las contribuciones de @janleike a la investigación de alineamiento y la civilización de seguridad de openai, y me entristece mucho verlo irse. tiene razón, tenemos mucho más por hacer; estamos comprometidos a hacerlo. Tendré una publicación más larga en los próximos días.
🧡 https://t.co/t2yexKtQEk
– Sam Altman (@sama) 17 de mayo de 2024
Tras las futuro de Leike y Sutskever, John Schulman, otro cofundador de OpenAI, pasó a encabezar el tipo de trabajo que estaba haciendo el equipo de Superalignment, pero ya no habrá un equipo dedicado; en cambio, será un equipo vagamente asociado. agrupación de investigadores integrados en divisiones de toda la empresa. Un portavoz de OpenAI lo describió como «integrar [the team] mas profundo.»
El temor es que, como resultado, el explicación de la IA de OpenAI no esté tan centrado en la seguridad como podría suceder estado.
¡Estamos lanzando un boletín informativo sobre IA! Inscribirse aquí para comenzar a recibirlo en sus bandejas de entrada el 5 de junio.
————————————————– —————–
Esta página transcribe artículos de diversas fuentes de dominio sabido, las ideas expresadas son responsabilidad de sus respectivos autores por lo cual no nos hacemos responsables del uso o la interpretación que se les dé. La información publicada nunca debe sustituir información profesional, médica, constitucional o psicológica.
