Hello!
bon slrpnk.net a l'air d'être dans les choux alors je lance ce post avec mon compte de secours jlai.lu
Alors je lance cet AMA car ça fait un moment que je bouffe du machine learning à temps plein et pour suivre les news technique, je passe le plus clair de mon temps à lire de l'anglais. Et je trouve qu'en français, ben y a pas grand chose. C'est presque uniquement du discours dystopique mal informé.
Rien sur la recherche sur l'alignement, rien sur les modèles open source (condition sine qua non pour que ça se passe bien), rien sur les évolutions sociales positives que ça peut amener.
On parle juste de OpenAI, Google et Musk qui ne sont que quelques arbres malades d'une forêt bien plus grande.
Perso ça va faire 5 ans que je fais du deep learning professionnellement. J'ai travaillé pour Skymind, qui développait deeplearning4j. Ça vous dira rien, c'est un projet plus ou moins mort, mais c'était une tentative de faire un framework alternatif avant que tout le monde passe à pytorch. Puis je suis devenu principalement utilisateur des gros modèles entraînés par d'autres.
J'ai travaillé sur les modèles de vision au départ et maintenant presque exclusivement sur des modèles de langage. J'ai réussi à passer au 4/5e l'année dernière pour me consacrer aussi avec le fablab local à de la robotique open hardware (où bien sur j'utilise des modèles de deep learning pour la vision).
Ça fait plus de 20 ans que j'ai réalisé que l'IA a le potentiel de changer le monde pour le mieux, c'est pas par hasard que j'ai essayé de m'orienter le plus possible là dedans et ça me fait mal au cœur de voir tant de gens croire que notre seul but est d'aider Sam Altman à se faire quelques milliards de plus, qui ne voient pas les capacités de transformation de cette tech.
J'ai déjà donné quelques avis en anglais pour éviter le "doomism" dans des romans de SF (https://slrpnk.net/post/6100538) mais le faire dans ma langue natale ferait du bien!
Et, si, le titre est correct, ça me fait 6/5 de boulot, mais quand on aime on ne compte pas!
Voila, je préférerais qu'on reste sur ces thèmes mais AMA anyway!
Je m'y suis essayé. J'aime bien écrire, mais assez rapidement, écrire de la SF me frustre: penser aux possibilités de la techno me donne envie de les réaliser, pas de fantasmer dessus!
Sur les LLMs et la littérature, j'ai été surpris d'entendre Astier dire un truc qui a mis le doigt sur ce qui me gêne. C'est que la question est pas de savoir si les LLMs peuvent sortir de la bonne littérature, mais de réaliser qu'on lit pour échanger avec un auteur. Alors c'est peut être pas vrai pour tous les lecteurs et tous les livres, mais percevoir l'intention humaine derrière un texte fait en effet partie de l'expérience.
Le problème que j'ai eu quand j'ai essayé des trucs (avec GPT3.5 je pense à l'époque) c'est que les modèles ont du mal à rester cohérents. Tu explores une cave et tu te retrouves sur un balcon, des objets apparaissent ou disparaissent, etc.
C'est pas insurmontable, et perso j'aimerais bien faire des expériences de jeu narratif (où un moteur de jeu classique garantirait la permanence des objets et la cohérence générale) mais je ne vois pas l'intérêt de générer des livres avec des LLMs. Les livres, c'est un medium entre humains. Avec un LLM, je trouve plus intéressant de faire un bot pour discuter avec un personnage ou interagir profondément avec un univers.
J'ai un pote qui bosse dans le domaine et avec qui on partage un gout pour le heavy metal. À peu près au moment où GPT-3 sortait, il m'a envoyé des paroles de chanson générées, dont une en particulier qui m'a bluffée. "Beacon of the Valkyries", qui décrit l'ambiance d'un lieu avant une grande bataille épique. Un thème qui aurait pu être une chanson de Manowar ou Sabaton. Ce qui m'a impressionné c'est que le titre était très bien choisi: il faut comprendre que les Valkyries accompagnent les morts au combat, qu'une bataille va en créer, qu'elles volent, qu'une balise peut donc les guider, que le titre est évocateur.
Depuis beaucoup de gens ont fait des expériences similaires mais à l'époque j'ai cherché un moment sur internet pour vérifier si cette expression n'existait pas déjà quelque part tellement je ne pouvais y croire. Ça m'a convaincu que même une "bête" prédiction de texte pouvait faire émerger une forme de compréhension des concepts.
Ouais j'ai vu passé cet extrait aussi, mais je suis pas convaincu par l'argument. Ou alors j'ai du mal à comprendre ce qu'il entend par "intention humaine", et pourquoi une machine en serait incapable. Certains parlent d'âme aussi, mais sans pouvoir le définir clairement, comme si il y avait quelque chose de magique que seul l'être humain peut transmettre à ses créations. J'ai l'impression que c'est un argument qu'on avance parce que l'orgueil en prendrait un trop gros coup si on admettait le contraire, mais depuis la révolution scientifique ce serait pas la première leçon d'humilité qu'on se prendrait dans la face. Et puis de toute façon dans le cas des LLMs il y a toujours un être humain derrière, et donc probablement une "intention".
Tout à fait ! (d'ailleurs pour moi ça fait aussi partie de la littérature). Une fiction interactive avec un LLM ce serait ouf. Est ce que tu connais des articles/blogs/communautés qui font des tentatives dans ce sens ou est ce que tu t'y essayes toi même ?
Alors attention, l'argument c'est pas qu'une machine ne peut pas le faire! Je m'attendais de façon un peu blasée à ça quand la question est arrivée et j'ai été surpris par la réponse. Il dit pas qu'une machine ne peut pas le faire, mais que c'est inintéressant si elle le fait, car il lui manque l'intention, le vécu. Quand j'ai lu le Problème à Trois Corps, que j'ai pas trouvé fantastique d'un point vue SF, les passages qui m'ont le plus intéressé étaient ceux qui parlaient des déboires des protagonistes sous Mao, sachant que l'auteur est chinois. Les mêmes passages écrits par un Américain m'auraient moins intéressé. Savoir que La Vie des Autres a été réalisé par quelqu'un qui n'a jamais habité à Berlin Est a rendu le film plus mauvais pour moi.
Un auteur pourrait faire passer une intentionnalité évocatrice ou un style via un LLM, mais je trouve qu'à ce moment le medium est moins intéressant et que ça brouille le canal entre le lecteur et l'auteur.
Ça fait longtemps que ça se fait! Depuis que quelqu'un a fine-tune je sais plus quel modèle sur Harry Potter et fait générer la suite d'un dialogue imaginaire avec les persos, il y a énormément de gens qui s'amusent à ça (80% d'entre eux pour du roleplay érotique mais bon...). Je crois que koboldAI est ce qu'ils utilisent le plus et ils ont des modèles spécialisés pour ça.
Merci !