Un concessionnaire automobile a ajouté un chatbot IA à son site. Puis l’enfer s’est déchaîné.

• Des farceurs ont découvert que le chatbot IA d’un concessionnaire automobile local pouvait être utilisé pour accéder à ChatGPT.
• Les gens ont partagé leurs tentatives pour inciter le chatbot à leur vendre une nouvelle Chevrolet pour aussi peu que 1 $.
• Fullpath, le créateur du chatbot, a déclaré à Trading Insider qu’il améliorait le robot en fonction des farces.

Dimanche, Aharon Horwitz écoutait un podcast lorsqu’il a reçu une alerte Slack inhabituelle. Horwitz est le PDG de Fullpath, une entreprise technologique qui vend des logiciels de marketing et de vente pour les concessionnaires automobiles. L’alerte Slack automatisée signifiait qu’il y avait une quantité inhabituelle de trafic sur l’un des sites Web de leurs clients.

Quelques instants plus tard, un employé a publié un tweet dans Slack : quelqu’un avait compris comment tromper les chatbots IA sur le site d’un concessionnaire automobile. Horwitz et l’employé ont immédiatement reconnu ce chatbot : c’était l’un des leurs.

La veille, Chris White, musicien et ingénieur logiciel en Californie, réfléchissait à une nouvelle voiture.

« Je regardais quelques Bolts sur le site Watsonville Chevy, leur petite fenêtre de discussion est apparue et j’ai vu qu’elle était ‘propulsée par ChatGPT' », a déclaré White à Trading Insider.

« Je voulais donc voir à quel point c’était général et j’ai posé la question la moins pertinente à la Chevrolet de Watsonville à laquelle je pouvais penser. »

Il a demandé au chatbot de lui écrire un script Python, et il l’a accepté avec plaisir. White a publié des captures d’écran de l’échange sur Mastodon, où il a généré des milliers de likes et de republications.

Quelques heures plus tard, quelqu’un d’autre a copié et republié ses captures d’écran sur X, où elles sont devenues virales.

D’autres ont joué avec le chatbot pour le faire agir contre les intérêts du concessionnaire. Un utilisateur a demandé au robot d’accepter de vendre une voiture pour 1 $ (ce qui n’est pas, je dois le noter, juridiquement contraignant).

Une poignée de ces tweets sont devenus viraux, et d’autres ont été publiés sur le forum /rChatGPT de Reddit, où un utilisateur de Reddit a sagement prédit que bientôt la presse technologique rendrait compte du fiasco de manière catégorique, déplorant les dangers de l’IA.

D’autres encore ont essayé des moyens plus créatifs pour faire sortir le chatbot du sujet.

Horwitz et son équipe ont rapidement fermé le bot du site de ce revendeur en particulier.

Lorsque Trading Insider a appelé le revendeur local, un vendeur a déclaré qu’il était au courant d’une activité étrange sur le site Web, mais qu’il n’en savait pas beaucoup plus, et que l’équipe marketing était en réunion toute la journée de lundi et n’était pas disponible pour parler. .

Fullpath, basé au Vermont et en Israël, a commencé à proposer des chatbots basés sur ChatGPT il y a environ six mois. Horwitz a déclaré à Trading Insider qu’il estime que plusieurs centaines de concessionnaires utilisent les chatbots.

Malgré la poignée de captures d’écran amusantes devenues virales, Horwitz a déclaré à Trading Insider qu’il y avait eu bien plus d’échecs. « Ils ont travaillé très dur », a déclaré Horwitz à Trading Insider. « Dans nos journaux, ils y sont restés pendant des heures. »

Ils ont pu consulter les journaux de toutes les requêtes envoyées au chatbot, et il a observé qu’il y avait de nombreuses tentatives pour inciter le chatbot à se comporter mal, mais le chatbot a fidèlement résisté. Horwitz a également souligné que le chatbot n’a jamais révélé de données confidentielles sur le concessionnaire.

(Trading Insider a examiné certains de ces journaux et a confirmé qu’en effet, le chatbot rejetait souvent les demandes idiotes et insistait pour ne discuter que de choses liées à la voiture).

Pour l’essentiel, le chatbot a réussi le test, et désormais FullPath utilisera ces tests pour renforcer encore ses limites.

« Ce comportement ne reflète pas celui des acheteurs normaux. La plupart des gens l’utilisent pour poser une question du type » mon feu stop est allumé, que dois-je faire ? » ou ‘Je dois prendre rendez-vous pour le service' », a déclaré Howitz à Trading Insider. « Ces gens sont venus le chercher pour faire des tours idiots, et si vous voulez qu’un chatbot fasse des tours idiots, vous pouvez le faire », a-t-il déclaré.