Hé, AI! Partie 2: « Créativité » générique
C.H. : Désormais, rédige l'introduction de ce second article, en faisant écho à ce qui était mentionné dans l'article précédent. (https://chmultimedia.ca/post/ai-v1) Ce second article aborde le concept de phases dans l'utilité des LLM lors d'une même "conversation", de leur cohérence et de leur potentielle créativité.
Bing : Bonjour, ceci est Bing. Je vais essayer de vous aider à rédiger l’introduction de votre article sur les LLM. Voici un exemple de texte que j’ai généré en m’inspirant de vos consignes et des résultats de recherche :
Dans l’article précédent, nous avons vu comment les modèles de langage de grande taille (LLM) peuvent être utilisés pour créer des contenus variés et personnalisés, tels que des articles, des poèmes, des résumés ou des dialogues. Mais comment ces LLM fonctionnent-ils ? Quelles sont les différentes phases d’une conversation avec un LLM ? Comment assurer la cohérence et la créativité du LLM tout au long de l’échange ? C’est ce que nous allons explorer dans cet article.
Ignorons le fait que je n'ai pas abordé la création de contenu dans la première partie de cette série hebdomadaire sur les LLM. Cette semaine, tentons d'appliquer ces modèles à des tâches créatives. Car, oui, l'IA doit prétendument supplanter l'humain lors de tâches créatives. (Mal)heureusement, les LLM avec faible tolérance pour la « vraisemblance » finissent par souffrir d’Alzheimer et répètent les mêmes phrases ad nauseam, tandis que ceux configurés avec une tolérance plus forte naviguent allègrement dans le surréalisme et l'absurdité la plus illogique... comme quelqu'un de dément.
Pas facile de dire quelque chose de gentil à l'égard de ces « IA ». Je me demande pourquoi.
| Pseudo-lucidité
Pourquoi Sydney finit par devenir folle après quelques messages? C’est à cause de la façon dont les LLM configurés pour produire un texte « vraisemblable » fonctionnent, et ce n’est pas une caractéristique propre à Bing Chat. Encore une fois, les LLM cherchent à déterminer la suite logique selon les énoncés qui lui sont servis. Il ne s’agit pas simplement de votre dernière réponse, mais de l’intégralité du texte constituant la « conversation ».
Ce n'est pas insensé. Tenir fortement compte de ses réponses précédentes permet d'émuler un semblant de progression dans sa réflexion. Si mon prochain paragraphe aborde la faune indigène au Kilimandjaro, vous me prendrez tous pour un fou. Donc, pour pondre un texte cohérent, je dois tenir compte de ce que j'ai déjà écrit. C'est bien ce que ces LLM font.
Après un certain stade, ça fait énormément de données… et le LLM perçoit éventuellement une suite logique dans ses propres réponses. À ce stade, le LLM suit le « modèle » de réponses qui lui est ainsi imposé, et s’y tiendra mordicus. Se débarrasser de ce « modèle » est pratiquement impossible à ce stade. Pour recouvrer un semblant de… lucidité, il faut purger la « conversation ».
Depuis quelques années, j’expérimente avec GPT-J, son alternative Boris, et Fairseq. Leur utilité se résume en trois phases:
1- La phase « lucide » : réponses intelligibles, voire originales. Ne dure que quelques lignes.
2- La phase « démente » : ajoute des éléments incongrus, sans lien apparent pour un humain normal.
3- La phase « en boucle » : répète les mêmes choses à l’infini.
Voici un exemple de texte généré à l’aide du LLM Boris, avec mon texte d’origine en gras :
- Carlos: Salut.
- Erik: Allo.
- Amy: Hé, Carlos.
- Carlos: Oui, c'est moi.
- Amy: Je suis désolée, je ne voulais pas te déranger.
- Carlos: Non, non, c'est moi qui suis désolé.
- Amy: Je suis désolée, je ne voulais pas te déranger.
- Carlos: Non, non, c'est moi qui suis désolé.
- Amy: Je suis désolée, je ne voulais pas te déranger.
- Carlos: Non, non, c'est moi qui suis désolé.
- Amy: Je suis désolée, je ne voulais pas te déranger.
- Carlos: Non, non, c'est moi qui suis désolé.
C’est… spécial. « Spécial » genre « enfants à besoins spéciaux ». Une ligne et demie de texte lucide, deux lignes démentes et une boucle infinie. Erik, le pauvre, est écarté rapidement. J’ai pire, sinon :
- Bonjour, quel est votre nom?
- Je suis Tes Ting.
- Super! Du coup, pouvez-vous nous parler de cette invention géniale que vous avez inventé, vous, le créateur de cette invention?
- Oui, c'est une machine à remonter le temps.
- Vous avez inventé une machine à remonter le temps?
- Oui, c'est une machine à remonter le temps.
- Mais vous n'avez pas dit que c'était une machine à remonter le temps.
- Oui, c'est une machine à remonter le temps.
- Mais vous n'avez pas dit que c'était une machine à remonter le temps.
- Oui, c'est une machine à remonter le temps.
- Mais vous n'avez pas dit que c'était une machine à remonter le temps.
- Oui, c'est une machine à remonter le temps.
La phase lucide ne dure que le temps d’une ligne. La phase démente dure trois lignes où l’intervieweur tente de convaincre notre cher monsieur Ting qu’il n’a pas dit ce qu’il vient tout juste de dire, et la phase en boucle continue à jamais.
| « Art de rue à la maison »
Mais qu'en est-il de la tolérance pour la vraisemblance? , vous entends-je dire.
En trafiquant les paramètres, nous pouvons pousser le modèle à publier des choses plus « intéressantes » mais adhérant à un concept plus relaxé de « vraisemblance » :
- Carlos: Salut.
- Erik: Allo.
- Amy: Hé, nous sommes dans l'interview de Carlos.
- Carlos: Allo.
- Amy: Vous êtes de retour avec nous.
- Carlos: Oui, merci.
- Amy: Merci, mais vous nous dire ce qui s'est passé dans votre vie dans les dernières semaines.
- Carlos: Ouais. Et je suis vraiment content parce que mes médecins ont dit que la dernière chose que je devais faire dans ma vie était d'avoir des problèmes de santé.
Alors, je suis content de voir que le LLM propose quelque chose d'inattendu. Toutefois, il produit rapidement du dialogue tout simplement débile. Allons voir jusqu’où le modèle peut sombrer sans être obsédé par la pseudo-lucidité...
- Amy: Ouais. Donc vous êtes en bonne santé.
- Carlos: Ouais. Bien.
- Amy: Alors, si vous voulez parler un peu de votre enfance. Qu'est-ce qui vous a inspiré à devenir le roc et la voix de ce sport?
- Carlos: J'ai eu une enfance très heureuse. J'étais dans la section 8, je m'amusais avec mon frère et ma sœur. J'ai grandi dans une petite ville où il y a beaucoup d'art de rue. C'était surtout des femmes artistes. Il n'y avait pas beaucoup d'hommes. Ce n'était pas énorme pour moi. Mais il n'y avait pas de garçons. Alors, quand j'ai déménagé dans la grande ville, c'était comme de la vie et de l'art séparés, mais je me suis amusé dans la vie de l'art et c'était vraiment amusant. C'était une petite ville, mais il y avait beaucoup de rues et tout le monde s'amusait. Vous savez, il y avait un couple qui jouait de l'art et ils étaient très talentueux. Alors, tous les enfants que nous avons joué ensemble. Je pense que ça s'est passé comme ça. C'était comme "Vous n'avez pas besoin de grandes choses, parfois, il suffit de vouloir." Je pense que je suis tombé sur ce message, j'ai toujours aimé tout le genre d'art et de la rue.
« Tout le genre d'art et de la rue » ? Wow, c'est horrible. Mention honorable à « tous les enfants que nous avons joué ensemble ». Et Carlos, tu as déménagé dans la grande ville? Mais tu dis que c'était une petite ville? Et... « jouer de l'art » ?!?
- Amy: Et est-ce que quelqu'un d'autre vous a influencé à grandir comme artiste de rue?
- Carlos: Alors, je me suis inspiré de mes grands-parents qui ont créé un genre d'art de rue à la maison. Je pense que c'était principalement les dames qui dessinaient. Et toutes les vieilles femmes qui dessinaient à la maison. C'était principalement des femmes. C'était toutes les dames qui faisaient de l'art de rue à la maison. En grandissant, je n'ai jamais pensé que c'était comme l'art de rue. Je pensais juste que c'était amusant. Mais maintenant que je pense à cela, je veux dire, c'est vraiment difficile. C'est une façon difficile de vivre. Je ne sais pas si j'étais là. Je devais être un jeune garçon, mais si c'était ça. Je n'étais pas un garçon parce que je pense qu'il y avait un tas de choses que je voulais faire quand je suis devenu grand.
Hilarant. Ça se passe de commentaires.
- Amy: Alors, vous voulez faire plus que l'art de rue maintenant?
- Carlos: Oh, je veux dire, non. Je ne veux pas me mettre en danger comme ça.
- Amy: Je suis désolé.
- Carlos: Non. Je pense que je suis vraiment chanceux parce que je vais partout. J'ai fait des choses vraiment amusantes. J'ai peut-être dit que je voulais être un acteur, alors c'était le cas. J'étais là. J'ai travaillé sur des choses vraiment amusantes comme jouer avec les enfants. Je vais être direct avec vous, je pense que je suis venu avec la voix à travers l'art de rue. Je ne savais pas trop quand je pouvais dire «J'aime l'art de rue», mais je savais que je l'aimais.
- Amy: Vous savez, Carlos, je veux dire, je suis content d'avoir un artiste qui pense à l'art de rue autant que quelqu'un qui croit que l'art de rue n'est pas ce que c'est.
Pourquoi Carlos aurait peur d'exprimer son amour de l'art de rue dans une ville où tout le monde adore tellement l'art de rue que le pratiquer à la maison est monnaie courante?
- Carlos: Non, j'adore l'art de rue. Je pense que l'art de rue, vous savez, c'est vraiment la voix que j'entends de la société. Quand vous entendez quelqu'un dire qu'ils ne veulent pas d'art, je pense que c'est quelque chose que vous devez savoir. C'est une fissure dans tout ce que nous faisons dans la société. Je pense que c'est comme une énorme voix qui vous dit que vous devez vous faire confiance. C'est un concept assez cool, je pense.
| Synthèse partielle
Pauvre Carlos. Tout cela a commencé avec un sport et sa métamorphose en roc, et il a été poussé à une vie d’artiste de rue et d’acteur qui joue avec des enfants. J’aime beaucoup comment, selon son histoire, les femmes se sont approprié l’art de rue en l’exerçant à domicile. À quand l’alpinisme dans les prés et le vélo en apnée?
Malheureusement, les paramètres du « style de conversation » de Bing Chat ne jouent pas sur la « vraisemblance ». J'utilise des guillemets car le paramètre possède un nom moins intuitif dans ce contexte, la probabilité, ou le top-k. En plus, il y a la probabilité cumulative, le top-p. Ça n'aide pas à la vulgarisation, surtout que les réponses les plus « vraisemblables » ont un top-k faible. Concevoir la chose comme une « tolérance de vraisemblance », où un top-k plus élevé produit des réponses plus loufoques est plus logique.
Maintenant, il est temps pour moi de vous remercier d'avoir lu mon blog jusqu'à présent. Outre les tâches créatives - pour lesquelles l'intelligence artificielle semble exceller -, saviez-vous que cette technologie peut aussi s'appliquer à la synthèse de données et à la rédaction d'articles et de rapports scientifiques? Vendredi prochain, ne manquez pas « IA vs. CHM », le combat ultime entre la technologie et l'homme féru de technologie.
Bing Chat ne rédigera pas de conclusion aujourd'hui, car elle aura besoin de toutes ses forces pour le match de la semaine prochaine. Je ne retiendrai pas mes coups·.