Des images d’abus sexuels sur des enfants sont trouvées dans une base de données utilisée pour former des générateurs d’images IA

• Un ensemble de données utilisé pour former des générateurs d’images d’IA contient des images d’abus sexuels sur des enfants, selon une étude.
• Ces résultats renforcent les craintes que les outils d’IA ne déclenchent une vague de contenus sur les abus sexuels sur enfants générés par l’IA.
• La base de données LAION a désormais été mise hors ligne pendant que ses créateurs suppriment les images.

Un ensemble de données utilisé pour former les générateurs d’images d’IA contient des milliers d’images suspectées d’abus sexuels sur des enfants, selon un nouveau rapport.

Un enquête du Cyber ​​Policy Center de l’Université de Stanford a découvert que la base de données LAION-5B, qui a été utilisée pour former plusieurs générateurs d’images IA y compris la diffusion stablecontenait plus de 3 200 images de maltraitances présumées sur des enfants.

Il a été confirmé qu’un peu plus de 1 000 de ces images constituaient du matériel pédopornographique, le rapport avertissant que leur présence dans l’ensemble de données peut permettre d’utiliser des outils d’IA générative construits sur ces données pour créer du nouveau contenu sur la maltraitance des enfants.

LAION-5B est une archive publique massive d’environ cinq milliards d’images extraites du Web ouvert.

Il a été utilisé par diverses sociétés d’IA, qui ont besoin d’énormes quantités de données pour former des modèles d’IA génératifs capables de produire de nouvelles images en quelques secondes.

Les experts préviennent depuis longtemps que les générateurs d’images IA risquent de se déchaîner un tsunami d’images ultra-réalistes d’abus sexuels sur des enfants générées par l’IAl’Internet Watch Foundation (IWF) avertissant que de telles images sont déjà largement diffusé sur le dark web.

Les organisations de sécurité en ligne au Royaume-Uni, quant à elles, ont a appelé à une « action urgente » sur les cas d’enfants utilisant des générateurs d’images IA à l’école pour créer du contenu indécent sur leurs camarades.

Applications d’IA utilisant une technologie similaire « déshabiller » les femmes sur les photos en créant de fausses images nues d’eux, leur popularité augmente également, selon les données de Graphika.

Stable Diffusion est le modèle le plus connu utilisant la base de données LAION. L’outil, développé par la société britannique Stability AI, est devenu l’un des générateurs d’images les plus répandus et les plus populaires depuis son lancement en 2022.

Un porte-parole de l’association allemande à but non lucratif LAION, à l’origine de l’ensemble de données, a déclaré à Bloomberg que le groupe supprimait temporairement ses ensembles de données d’Internet tout en les débarrassant du contenu illégal.

Un porte-parole de Stability AI a déclaré à Trading Insider que la société avait introduit des filtres pour empêcher les utilisateurs de créer du contenu illégal avec Stable Diffusion et que les modèles de Stability AI n’étaient formés que sur un sous-ensemble filtré de LAION-5B.

La société a publié l’année dernière Stable Diffusion 2.0, qui impose des contrôles plus stricts sur le contenu sexuellement explicite, mais la version 1.5, qui génère du contenu explicite, est toujours disponible sur le Web ouvert.

Le porte-parole a déclaré Stable Diffusion 1.5 a été publié par la startup vidéo AI RunwayML, et non par Stability AI. Runway a cependant déclaré à Bloomberg qu’il s’agissait d’une collaboration entre les deux.

LAION-400M, une version précédente de la base de données 5B qui les chercheurs de Stanford ont noté qui contenait « des images pornographiques, des insultes racistes et des stéréotypes sociaux nuisibles », a été utilisé par Google pour former une première version de son générateur de texte-image Imagen. Google a depuis, j’ai arrêté d’utiliser les ensembles de données LAION.

BI a contacté LAION pour obtenir des commentaires supplémentaires, mais n’a pas immédiatement reçu de réponse.