Une présentation divulguée révèle comment Microsoft a construit l’un de ses meilleurs produits d’IA générative, depuis la sélection des résultats jusqu’à la présentation des clients gouvernementaux.
- Les Microsoft Copilots, construits sur des modèles OpenAI, sont ses produits d’IA les plus importants.
- L’audio interne révèle les premiers travaux de développement du service Security Copilot de Microsoft.
- Dans l’audio, un cadre de Microsoft a déclaré que la société avait dû « choisir » des exemples en raison d’hallucinations.
Pour avoir une idée du potentiel réel et des pièges pratiques de l’IA générative, ne cherchez pas plus loin que les premiers travaux de Microsoft sur son service Security Copilot.
Le plus grand éditeur de logiciels au monde a lancé Security Copilot début 2023. Il s’agit de l’un des nouveaux produits d’IA les plus importants de Microsoft, exploitant le GPT-4 d’OpenAI et un modèle interne pour répondre aux questions sur les cybermenaces dans un style similaire à ChatGPT.
Le chemin vers le lancement a été difficile, mais il a également inclus des révélations pleines d’espoir sur la puissance de cette nouvelle technologie, selon une présentation interne de Microsoft datant de fin 2023. Trading Insider a obtenu un extrait de la présentation, révélant quelques détails sur la façon dont cet important produit d’IA a été créé. .
Problèmes d’approvisionnement du GPU
À l’origine, Microsoft travaillait sur ses propres modèles d’apprentissage automatique pour des cas d’utilisation de sécurité, selon la présentation de Lloyd Greenwald, partenaire de Microsoft Security Research.
L’initiative, impliquant des pétaoctets de données de sécurité, a été bloquée en raison d’un manque de ressources informatiques alors que « tout le monde dans l’entreprise » utilisait l’offre limitée de GPU de Microsoft pour travailler avec GPT-3, le prédécesseur de GPT-4, a expliqué Greenwald.
Accès anticipé à GPT-4
Ensuite, le géant du logiciel a obtenu un accès anticipé à GPT-4 en tant que « projet sous tente », a-t-il déclaré, selon l’audio obtenu par BI. C’est un terme désignant un projet auquel Microsoft restreint étroitement l’accès.
À ce stade, Microsoft a détourné son attention de ses propres modèles pour voir ce qu’il pouvait faire dans le domaine de la cybersécurité avec GPT-4.
« Nous avons présenté nos premières explorations de GPT-4 aux clients gouvernementaux pour avoir leur avis et nous l’avons également présenté à des clients externes sans dire quel est le modèle que nous utilisions », a déclaré Greenwald.
Le terrain
Le discours était centré sur les avantages de l’utilisation d’un seul modèle d’IA universel plutôt que de plusieurs modèles individuels.
Microsoft dispose encore de plusieurs modèles d’apprentissage automatique spécifiques pour résoudre des problèmes spécifiques, tels que l’attribution des campagnes d’attaque, la détection des comptes compromis et la détection des attaques de la chaîne d’approvisionnement, a déclaré Greenwald.
« La différence est que si vous avez un grand modèle universel ou un modèle de base comme on l’appelle maintenant, comme GPT-4, vous pouvez tout faire avec un seul modèle », a-t-il ajouté. « C’est ainsi que nous l’avons présenté au gouvernement à l’époque, puis nous leur avons montré un peu ce que nous essayions de faire. »
Greenwald a noté que les capacités que Microsoft avait initialement montrées au gouvernement étaient « puériles par rapport au niveau de sophistication » que l’entreprise a atteint aujourd’hui.
Le porte-parole de Microsoft, Frank Shaw, a déclaré que la réunion concernait la technologie basée sur GPT 3.5 et qu’elle n’était « pas pertinente » pour l’actuel Security Copilot construit sur GPT-4.
« La technologie discutée lors de la réunion était un travail exploratoire antérieur à Security Copilot et a été testée sur des simulations créées à partir d’ensembles de données publiques pour les évaluations de modèles, aucune donnée client n’a été utilisée », a déclaré Shaw. « Aujourd’hui, nos clients du programme d’accès anticipé partagent régulièrement leur satisfaction concernant la dernière version de Security Copilot. »
Cueillette de cerises et hallucinations
Selon l’audio obtenu par BI, Microsoft a commencé à tester les capacités de sécurité de GPT-4 en affichant les journaux de sécurité du modèle d’IA et en voyant s’il pouvait analyser le contenu et comprendre ce qui se passait.
Ils collaient par exemple un journal de sécurité Windows dans GPT-4, puis incitaient le modèle à se présenter comme un « chasseur de menaces » et découvraient ce qui s’était passé, a déclaré Greenwald dans la présentation.
Cela s’est fait sans aucune formation supplémentaire sur des données de sécurité spécifiques – juste le modèle général d’OpenAI disponible dans le commerce. GPT-4 a pu comprendre ce journal, partager des informations intéressantes sur le contenu du journal et indiquer s’il y avait quelque chose de malveillant.
« Il s’agit en quelque sorte d’un exemple trié sur le volet, car cela nous révélerait également des choses qui n’allaient tout simplement pas du tout », a déclaré Greenwald. « Les hallucinations sont un gros problème avec les LLM et nous faisons beaucoup de choses chez Microsoft pour essayer d’éliminer les hallucinations et cela consiste en partie à les étayer avec des données réelles, mais il s’agit simplement de prendre le modèle sans le fonder sur aucune donnée. La seule chose que nous avons je lui ai envoyé ce journal et je lui ai posé des questions. »
« Nous avons dû faire un petit choix pour obtenir un exemple qui semblait bon, car il s’écarterait et parce qu’il s’agit d’un modèle stochastique, il nous donnerait des réponses différentes lorsque nous lui poserions les mêmes questions », a-t-il ajouté. « Ce n’était pas si facile d’obtenir de bonnes réponses. »
D’après l’audio de la présentation, il n’est pas clair si Greenwald disait que Microsoft avait utilisé ces exemples triés sur le volet lors des premières démonstrations au gouvernement. BI a interrogé spécifiquement l’entreprise à ce sujet et elle n’a pas répondu à cette question.
« Nous travaillons en étroite collaboration avec nos clients pour minimiser le risque d’hallucinations en fondant les réponses sur les données des clients et en fournissant toujours des citations », a déclaré Shaw de Microsoft.
Explorer les données d’entraînement
Microsoft a également fouillé pour voir d’où GPT-4 obtenait les informations qu’il semblait déjà connaître sur des sujets de cybersécurité tels que les journaux, les situations compromettantes et les renseignements sur les menaces.
Greenwald a déclaré que l’expérience de Microsoft dans le développement de Github Copilot a montré que les modèles OpenAI étaient formés sur du code open source. Mais ces modèles ont également été formés sur des articles informatiques, des données d’offices de brevets et des explorations de sites Web pendant 10 ans.
« Il y avait donc des données raisonnables sur la sécurité là-dedans, tout était statique dans le temps, toutes les données de sécurité dataient d’avant fin 2021 », a expliqué Greenwald.
Indicateurs de compromis
Greenwald a également partagé un autre exemple des questions de sécurité posées par Microsoft aux modèles d’OpenAI, affirmant que « c’est exactement ce que nous avons présenté au gouvernement », selon l’audio de sa présentation.
Encore une fois, Microsoft a déclaré que le modèle d’IA était un « chasseur de menaces », mais cette fois-ci, il lui a donné un journal de sécurité différent d’un incident spécifique et lui a demandé d’expliquer ce qui se passait et d’identifier tout IOC ou indicateur de compromission. traces que les cybercriminels laissent à l’intérieur des réseaux informatiques lors d’attaques.
Le modèle a pu comprendre les IOC, ce qui s’est passé avec l’attaque et comment y remédier – simplement en consultant le journal de sécurité, a déclaré Greenwald. Cette sortie provenait de GPT 3.5, plutôt que de GPT-4, plus avancé, a-t-il noté.
« Nous avons pu présenter au gouvernement ce qui provient du GPT 3.5, ce sont des expériences sur ce que nous pouvons faire », a ajouté Greenwald. « Ces réponses sont plutôt bonnes et assez convaincantes, mais les réponses GPT-4 étaient encore meilleures. »
C’est ce qui a enthousiasmé le CTO Kevin Scott, le PDG Satya Nadella et bien d’autres chez Microsoft, selon Greenwald.
Un vrai produit, avec des données Microsoft
L’effort s’est ensuite éloigné de l’organisation de recherche appliquée dirigée par Eric Douglas et a demandé à une équipe d’ingénieurs d’essayer de transformer cela en ce que Greenwald a appelé « quelque chose qui ressemble davantage à un vrai produit ».
Microsoft a incorporé ses propres données dans le produit Security Copilot, ce qui aide l’entreprise à « ancrer » le système avec des informations plus à jour et plus pertinentes.
« Nous voulons extraire des données de sécurité, nous ne voulons pas simplement leur poser des questions en fonction de ce sur quoi ils ont été formés. Nous avons beaucoup de données chez Microsoft, nous avons beaucoup de produits de sécurité », a déclaré Greenwald.
Il a cité Microsoft Sentinel comme un produit de cybersécurité doté de « connecteurs vers toutes ces données ». Il a également mentionné les connecteurs ServiceNow et les informations de Microsoft Defender, le logiciel antivirus de la société, ainsi que d’autres sources de données de sécurité.
Une personne proche du projet a déclaré que l’idée était d’intercepter les réponses des modèles d’IA génératifs et d’utiliser les données de sécurité internes pour pointer dans la bonne direction, créant essentiellement un logiciel plus déterministe pour tenter de résoudre les problèmes d’hallucinations avant que le produit ne soit généralement disponible. été.
Lorsque Microsoft a déployé Security Copilot pour la première fois fin mars, la société a déclaré que le service « ne fonctionne pas toujours correctement » et a noté que « le contenu généré par l’IA peut contenir des erreurs ».
Il décrit Security Copilot comme un « système d’apprentissage en boucle fermée », qui reçoit les commentaires des utilisateurs et s’améliore au fil du temps. « Alors que nous continuons à apprendre de ces interactions, nous ajustons ses réponses pour créer des réponses plus cohérentes, pertinentes et utiles », a déclaré Microsoft.
Travaillez-vous chez Microsoft ou avez-vous des idées à partager ?
Contactez Ashley Stewart par e-mail (astewart@insider.com)ou envoyez un message sécurisé depuis un appareil non professionnel via Signal (+1-425-344-8242).
