Un ancien cadre de Salesforce affirme que les grands modèles de langage doivent apprendre à coder s’ils veulent passer au niveau supérieur
- L’ancien directeur de Salesforce, Richard Socher, a parlé des modèles d’IA dans un podcast de la Harvard Business Review.
- Il a déclaré qu’une façon d’améliorer considérablement l’IA est de programmer les réponses – et non seulement de les prédire.
- Cela « leur donnera bien plus de carburant pour les prochaines années en termes de ce qu’ils peuvent faire », a-t-il déclaré.
La technologie de l’IA générative a progressé si rapidement au cours des dernières années que certains experts se demandent déjà si nous avons atteint « le pic de l’IA ».
Mais Richard Socher, ancien scientifique en chef chez Salesforce et PDG du moteur de recherche basé sur l’IA You.com, estime qu’il nous reste encore du chemin à parcourir.
Sur une revue d’affaires de Harvard podcast la semaine dernière, Socher a déclaré que nous pouvions améliorer les grands modèles de langage en les forçant à répondre à certaines invites du code.
À l’heure actuelle, les grands modèles de langage « prédisent simplement le prochain jeton, compte tenu de l’ensemble de jetons précédent », a déclaré Socher – les jetons étant les plus petites unités de données ayant une signification dans les systèmes d’IA. Ainsi, même si les LLM font preuve d’impressionnantes compétences en compréhension écrite et en codage et peuvent réussir des examens difficiles, les modèles d’IA ont toujours tendance à halluciner – un phénomène où ils crachent de manière convaincante des erreurs factuelles comme étant la vérité.
Et c’est particulièrement problématique lorsqu’on leur pose des questions mathématiques complexes, a déclaré Socher.
Il a donné un exemple sur lequel un grand modèle linguistique pourrait tâtonner : « Si je donnais à un bébé 5 000 $ à la naissance pour qu’il investisse dans un fonds indiciel boursier sans frais, et je suppose un certain pourcentage des rendements annuels moyens, combien aura-t-il à l’âge de deux ans. à cinq heures ? »
Selon lui, un grand modèle linguistique commencerait tout simplement à générer du texte basé sur des questions similaires auxquelles il avait été exposé dans le passé. « Cela ne dit pas vraiment: ‘Eh bien, cela m’oblige à réfléchir très attentivement, à faire de vrais calculs et à donner ensuite la réponse' », a-t-il expliqué.
Mais si vous pouvez « forcer » le modèle à traduire cette question en code informatique et à générer une réponse basée sur le résultat de ce code, vous aurez plus de chances d’obtenir une réponse précise, a-t-il déclaré.
Socher n’a pas fourni de détails sur le processus, mais a déclaré que sur You.com, ils étaient en mesure de traduire les questions en Python. D’une manière générale, la programmation « leur donnera bien plus de carburant pour les prochaines années en termes de ce qu’ils peuvent faire », a-t-il ajouté.
Les commentaires de Socher interviennent alors qu’un nombre croissant de grands modèles de langage peinent à déjouer le GPT-4 d’OpenAI. Gemini, « le modèle d’IA le plus performant de Google à ce jour », dépasse à peine GPT-4 dans des critères importants comme le MMLU, l’une des méthodes les plus populaires pour évaluer les connaissances et les compétences en résolution de problèmes des modèles d’IA. Et bien que l’approche privilégiée ait simplement consisté à faire évoluer ces modèles en termes de données et de puissance de calcul qui leur sont fournies, Socher suggère que cette approche pourrait conduire à une impasse.
« Il n’y a qu’un nombre limité de données supplémentaires sur lesquelles le modèle peut s’entraîner », a-t-il déclaré.
