OpenAI vient de dissoudre son équipe dédiée à la gestion des risques liés à l'IA, comme la possibilité qu'elle devienne « voyou »
La même semaine où OpenAI a lancé GPT-4o, son IA la plus humaine à ce jour, la société a dissous son équipe Superalignment, a rapporté Wired pour la première fois.
OpenAI a créé son équipe Superalignment en juillet 2023, codirigée par Ilya Sutskever et Jan Leike. L’équipe s’est consacrée à atténuer les risques liés à l’IA, comme la possibilité qu’elle devienne « malveillante ».
L'équipe aurait été dissoute quelques jours après que ses dirigeants, Ilya Sutskever et Jan Leike, ont annoncé leur démission en début de semaine. Sutskever a déclaré dans son message qu'il se sentait « confiant qu'OpenAI construira une AGI à la fois sûre et bénéfique » sous la direction actuelle.
Il a également ajouté qu'il était « enthousiasmé par la suite », qu'il a décrit comme un « projet qui a une signification très personnelle » pour lui. L'ancien dirigeant d'OpenAI n'a pas donné de détails à ce sujet, mais a déclaré qu'il partagerait les détails à temps.
Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, a fait la une des journaux en annonçant son départ. L'exécutif a joué un rôle dans l'éviction du PDG Sam Altman en novembre. Bien qu'il ait exprimé plus tard ses regrets d'avoir contribué au retrait d'Altman, l'avenir de Sutskever chez OpenAI était remis en question depuis la réintégration d'Altman.
Suite à l'annonce de Sutskever, Leike a posté sur X, anciennement Twitter, qu'il quittait également OpenAI. L'ancien dirigeant a publié vendredi une série de messages expliquant son départ, qui, selon lui, intervient après des désaccords sur les priorités fondamentales de l'entreprise depuis « un certain temps ».
Leike a déclaré que son équipe « naviguait contre le vent » et avait du mal à obtenir des données informatiques pour ses recherches. La mission de l'équipe Superalignment impliquait d'utiliser 20 % de la puissance de calcul d'OpenAI au cours des quatre prochaines années pour « construire un chercheur d'alignement automatisé à peu près au niveau humain », selon l'annonce de l'équipe par OpenAI en juillet dernier.
Leike a ajouté : « OpenAI doit devenir une entreprise AGI axée sur la sécurité. » Il a déclaré que la création d'une IA générative est « une entreprise intrinsèquement dangereuse » et qu'OpenAI était plus préoccupé par la publication de « produits brillants » que par la sécurité.
Jan Leike n'a pas répondu à une demande de commentaire.
L'objectif de l'équipe de Superalignment était de « résoudre les principaux défis techniques de l'alignement de la superintelligence en quatre ans », un objectif que l'entreprise a admis être « incroyablement ambitieux ». Ils ont également ajouté qu’ils n’étaient pas assurés de réussir.
Certains des risques sur lesquels l'équipe a travaillé comprenaient « l'abus, les perturbations économiques, la désinformation, les préjugés et la discrimination, la dépendance et la dépendance excessive ». La société a déclaré dans son message que le travail de la nouvelle équipe s'ajoutait aux travaux existants chez OpenAI visant à améliorer la sécurité des modèles actuels, comme ChatGPT.
Certains des membres restants de l'équipe ont été intégrés dans d'autres équipes OpenAI, a rapporté Wired.
OpenAI n'a pas répondu à une demande de commentaire.
