Wall Street peut respirer tranquillement. ChatGPT n’est pas encore assez intelligent pour être analyste financier.

• ChatGPT ne serait pas en mesure de réussir tous les niveaux de l’examen requis pour devenir CFA.
• Une étude menée par des chercheurs de JPMorgan et des universitaires a révélé que ChatGPT commettait de nombreuses « erreurs basées sur les connaissances ».
• GPT-4 a fait mieux que ChatGPT et a pu réussir les deux premiers niveaux de l’examen avec suffisamment d’incitation.

Les analystes de Wall Street, inquiets de l’arrivée de l’IA dans leur travail, peuvent respirer tranquillement – ​​pour l’instant.

Selon une étude, ChatGPT n’a pas réussi l’examen d’analyste financier agréé, une qualification de référence pour de nombreux professionnels de la finance à Wall Street.

Dans le cadre d’une recherche menée par une équipe de chercheurs en IA de JPMorgan et d’universitaires, ChatGPT et GPT-4, tous deux de grands modèles de langage d’IA créés par OpenAI, se sont vu poser des questions de type CFA pour tester s’ils sont capables d’un raisonnement financier complexe.

« Sur la base des taux de réussite estimés et des scores moyens autodéclarés, nous avons conclu que ChatGPT ne serait probablement pas en mesure de réussir les niveaux I et II du CFA dans tous les paramètres testés », ont écrit les chercheurs.

Le CFA est un test rigoureux en trois parties, conçu pour évaluer les connaissances en analyse de titres et en gestion de portefeuille. Il faut plusieurs années aux professionnels pour terminer les trois niveaux de l’examen, les candidats consacrant souvent des centaines d’heures à la préparation. Une fois certifié, il est considéré comme une marque de distinction et peut souvent récompenser les récipiendaires avec plus d’opportunités tout au long de leur carrière.

Et beaucoup de ceux qui passent l’examen échouent. Selon l’institut CFA, seuls 38 % des candidats ayant passé l’examen de niveau 1 en février 2023 l’ont réussi. 52 % ont réussi l’examen de niveau deux en mai. Le test de niveau trois le plus récent, en août, a eu un taux de réussite de 47 %.

ChatGPT rejoint les rangs de ceux qui n’ont pas réussi, selon l’étude. Lorsqu’on lui a posé des questions simulées de niveau 1 impliquant de nombreuses réponses à choix multiples, ChatGPT a commis de nombreuses « erreurs basées sur les connaissances », que les chercheurs ont définies comme « des erreurs dans lesquelles le modèle manque des connaissances critiques requises pour répondre à la question ». GPT-4 a commis le même type d’erreurs basées sur les connaissances, mais elles n’étaient pas aussi graves que ChatGPT.

Le niveau un est généralement un test plus difficile que le niveau deux, mais les modèles ont donné de moins bons résultats au deuxième niveau, qui nécessite davantage d’analyse et d’interprétation des informations sur des sujets tels que les investissements en actions et l’information financière.

Dans l’ensemble, GPT-4 a fait mieux que ChatGPT aux deux niveaux – en fait, il a assez bien réussi pour réussir les deux premiers niveaux de l’examen CFA s’il était suffisamment invité.

« GPT-4 aurait de bonnes chances de réussir les niveaux I et II du CFA si on y demandait [few shot] et/ou [chain of thought scenarios] », ont écrit les chercheurs.

Certes, le traitement du langage naturel, ou la capacité d’un logiciel à comprendre et manipuler le langage humain, a déjà été utilisé dans plusieurs secteurs de la finance, comme dans l’analyse des sentiments ou dans la synthèse de rapports.

Mais avec l’avancée des grands modèles de langage d’IA comme ChatGPT, qui a fait sensation au début de cette année avec ses réponses de type humain, la question du remplacement de l’IA par les professionnels de la finance humaine a été un sujet de nombreuses discussions à Wall Street.

Heureusement, pour l’instant, ce scénario ne semble pas près de devenir réalité.