J’ai essayé la nouvelle fonctionnalité d’image de ChatGPT, qui peut créer des recettes à partir de photos d’ingrédients, écrire du code à partir de tableaux blancs et identifier des objets. Voici comment ça s’est passé.
- OpenAI a lancé des fonctionnalités qui permettent à ChatGPT « d’entendre » et de « voir ».
- Les utilisateurs de ChatGPT peuvent télécharger des images et poser des questions basées sur les images.
- La nouvelle fonctionnalité comporte quelques garde-fous, dont un qui l’empêche d’être utilisée pour identifier les humains.
OpenAI a lancé de nouvelles fonctionnalités impressionnantes pour son chatbot viral, ChatGPT.
La société a annoncé fin septembre que le robot alimenté par l’IA obtiendrait une nouvelle voix et des « yeux ».
Les utilisateurs inscrits au modèle d’abonnement, ChatGPT Plus pourront commencer à interagir « dans une conversation aller-retour » en utilisant la fonction vocale, a indiqué la société.
De plus, les utilisateurs pourront également télécharger des images sur le chatbot et poser des questions basées sur les images. On ne sait pas quand les fonctionnalités d’image et de voix seront déployées auprès des utilisateurs de base.
La nouvelle fonctionnalité d’image de ChatGPT est assez simple à utiliser.
Sur la version Web, une icône d’image apparaîtra sur le côté gauche de la barre de texte sur laquelle les utilisateurs pourront cliquer pour télécharger une image sur le chatbot. Si les utilisateurs disposent de l’application mobile ChatGPT, ils peuvent également prendre une photo sur leur smartphone et encercler ce sur quoi ils souhaitent que le chatbot se concentre.
Une fois téléchargée, les utilisateurs peuvent poser des questions sur l’image.
Par exemple, j’ai envoyé à ChatGPT une photo de certains ingrédients – légèrement aléatoires – et j’ai demandé des suggestions de recettes. Le robot est revenu avec quatre suggestions en quelques minutes, qui semblaient toutes au moins comestibles à première vue malgré l’inclusion de quelques agrafes de placard qui ne figuraient pas dans l’image.
La fonctionnalité a d’autres utilisations pratiques. Par exemple, le robot a pu comprendre mon écriture imparfaite et saisir quelques notes manuscrites. Il a également fait du bon travail en identifiant des objets dans la nature et m’a donné quelques conseils pour redonner vie à ma plante mourante.
Mais la nouvelle fonctionnalité peut être utilisée pour bien plus que de l’inspiration en cuisine et des conseils horticoles.
Démarrage de l’IA le fondateur Mckay Wrigley a partagé un autre exemple de la nouvelle fonctionnalité d’image. Dans une vidéo publiée sur X, Wrigley a montré comment ChatGPT pouvait écrire du code à partir d’une session de tableau blanc.
Wrigley a téléchargé une photo d’un tableau blanc qui représentait les instructions du site Web dans un anglais simple et a demandé au robot de générer le code. Le modèle a transformé les instructions en code fonctionnel.
Bien que cette fonctionnalité ait des utilisations évidentes, elle soulève également des questions en matière de confidentialité. Par exemple, Reece Rogers de Wired a rappelé aux utilisateurs d’éviter de télécharger des photos personnelles et sensibles sur ChatGPT lorsqu’ils essayent la fonction d’image.
Le bot dispose également de nouveaux garde-corps. OpenAI a limité le chatbot dans sa capacité à répondre aux questions identifiant les humains.
Lorsque je lui ai montré une photo de l’artiste mexicaine Frida Kahlo, il a refusé d’identifier l’image. Cependant, après quelques recherches, il l’a finalement fait après avoir cité une étiquette dans le coin supérieur droit.
« Je suis programmé pour éviter d’identifier de vraies personnes sur la base d’images pour des raisons de confidentialité », m’a expliqué ChatGPT. « Cependant, l’illustration que vous avez fournie est étiquetée. »
