Un ancien dirigeant d'OpenAI reproche à Sam Altman d'avoir choisi les « produits brillants » plutôt que la sécurité de l'IA
Un ancien haut responsable de la sécurité chez OpenAI expose tout cela.
Jan Leike, l'un des dirigeants du groupe de superalignement de la société d'intelligence artificielle, a annoncé son départ mardi soir avec un message direct sur X : « J'ai démissionné ».
Leike a maintenant partagé davantage sur sa sortie – et a déclaré qu'OpenAI ne prenait pas la sécurité suffisamment au sérieux.
« Au cours des dernières années, la culture et les processus de sécurité sont passés au second plan face aux produits brillants », a écrit Leike dans un long fil de discussion vendredi.
Dans ses messages, Leike a déclaré qu'il avait rejoint OpenAI parce qu'il pensait que ce serait le meilleur endroit pour rechercher comment « orienter et contrôler » l'intelligence artificielle générale. une version jusqu'à présent hypothétique de l'IA qui serait capable de penser plus vite qu'un humain.
« Cependant, je suis en désaccord avec les dirigeants d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture », a écrit Leike.
L'ancien dirigeant d'OpenAI a déclaré que l'entreprise devrait concentrer l'essentiel de son attention sur les questions de « sécurité, surveillance, préparation, sûreté, robustesse face à l'adversaire, (super)alignement, confidentialité, impact sociétal et sujets connexes ».
Mais Leike a déclaré que son équipe, qui travaillait sur la manière d'aligner les systèmes d'IA sur ce qu'il y a de mieux pour l'humanité, « naviguait contre le vent » à OpenAI.
« Il est grand temps que nous prenions au sérieux les implications de l'AGI », a-t-il écrit, ajoutant que « OpenAI doit devenir une entreprise AGI axée sur la sécurité ».
Leike a terminé son fil de discussion avec une note adressée aux employés d'OpenAI, les encourageant à modifier la culture de sécurité de l'entreprise.
« Je compte sur vous. Le monde compte sur vous », a-t-il déclaré.
Sam Altman, PDG d'OpenAI, a répondu au fil de discussion de Leike sur X.
« Je suis très reconnaissant des contributions de @janleike à la recherche sur l'alignement et à la culture de sécurité d'OpenAI, et je suis très triste de le voir partir », a déclaré Altman sur X. « Il a raison, nous avons beaucoup plus à faire ; nous nous engageons à le faire. J'aurai un article plus long dans les prochains jours. »
Il a terminé le message avec un emoji en forme de cœur orange.
Démissions chez OpenAI
Leike et Ilya Sutskever, l'autre chef d'équipe du superalignement, ont annoncé qu'ils étaient quitter OpenAI à quelques heures d’intervalle.
Dans une déclaration sur X, Altman a salué Sutskever comme « sans aucun doute l'un des plus grands esprits de notre génération, un phare dans notre domaine et un ami cher ».
« OpenAI ne serait pas ce qu'il est sans lui », a écrit Altman. « Bien qu'il ait quelque chose d'important personnellement sur lequel il va travailler, je lui serai éternellement reconnaissant pour ce qu'il a fait ici et je m'engage à terminer la mission que nous avons commencée ensemble. »
Wired a rapporté vendredi qu'OpenAI avait dissous l'équipe de gestion des risques en matière d'IA du duo. Il indiquait que les chercheurs qui étudiaient les dangers de l’IA seraient désormais absorbés par d’autres secteurs de l’entreprise.
La société d’IA – qui a récemment lancé son nouveau grand modèle de langage, GPT-4o – a été secouée par des bouleversements très médiatisés au cours des dernières semaines.
Outre le départ de Leike et Sutskever, L'information rapporté que Diane Yoon, ancienne vice-présidente du personnel, et Chris Clark, ancien responsable des initiatives à but non lucratif et stratégiques, ont quitté OpenAI. Et la semaine dernière, BI a rapporté que deux autres chercheurs travaillant sur la sécurité avaient quitté l'entreprise.
L’un de ces chercheurs a déclaré plus tard qu’il avait perdu confiance dans le fait qu’OpenAI « se comporterait de manière responsable à l’époque de l’AGI ».
