Vous aussi vous vous posez la question ?
Je pense, j’espère, qu’on est beaucoup à se la poser. Voila des mois que j’utilise claude de plus en plus. Que ce soit en version web ou en version « claude code ». Il faudra vraiment que je fasse un billet sur le sujet, pour présenter l’utilisation de claude code et donner des exemples concrets de tous les scripts ou logiciels ultra pratique que j’ai pu développer sans efforts grâce à lui¹. Et bien sur les mettre à disposition de tout le monde. Je le ferai. Mais ce n’est pas l’objet de l’article d’aujourd’hui.
Aujourd’hui je vais vous donner le résultat de mes conversations avec claude pour comprendre comment il fonctionne.
Avant toute chose j’ai commencé par aller voir des formations en vidéo. Formations qui semblent toutes dépassés quelques mois seulement après avoir étés mises en ligne. Mais puisque il faut bien commencer quelque part, pourquoi pas commencer par la. On y apprend surtout qu’un LLM (« large modèle de langage », comme claude, chatgpt et tous les autres) n’est qu’un logiciel à qui on a fait lire en gros tout internet. Et qui à ensuite appris, plus ou moins seul, à mathématiquement prévoir le mot suivant dans un texte. Et que toutes les réponses qu’un LLM produit n’est rien d’autre que ça. Des statistiques et des mots qui sortent les uns après les autres, tirés au sort, parmi les plus probables.
Mais si comme moi vous avez déjà expérimenté des vraies longues conversations avec les modèles les plus évolués, que vous avez observés leurs capacités sidérantes de réflexion, de déduction, d’imagination… L’explication des « mots tirés au sort » doit vous sembler un peu courte.
C’était mon cas. Alors j’ai demandé à Claude de m’aider à comprendre tout le processus, en insistant bien sur mes lacunes en mathématique, et lui demandant d’utiliser des analogies. Ce document (format markdown ou pdf) résume nos conversations. Chaque section est relativement indépendante et il est donc possible de ne lire que ce qui vous attire le plus. Mais il me semble que l’ensemble du document est intéressant.
Lorsque vous l’aurez lu, vous vous direz peut être (toujours comme moi) : C’est bien beau mais la partie la plus intéressante appelée « l’attention » (étape transformer, le ‘t’ de chatgpt) n’est décrite que par une analogie vague et rien ne permet de comprendre réellement comment ça fonctionne. Alors j’ai demandé une explication plus concrète, plus technique, qu’un informaticien pourrait comprendre. Et Claude m’a répondu ceci.
Et vous savez quoi ? Même si je comprend bien certains passage, je réalise bien en lisant ce document que j’ai atteint mes limites. Ce que j’ai surtout bien compris en fait, c’est que je ne pourrais pas en comprendre d’avantage. Alors… place aux jeunes 🙂
Bonne lecture !
¹ J’aurai pu écrire « ça ». J’ai décidé d’anticiper un peu et d’écrire « lui ». Je ne prétend évidement pas que Claude est vivant. D’ailleurs, il suffit que plus personne ne l’interroge, et il n’existe plus vraiment. En tout cas, il ne « vit » plus. Mais des entités capable de réflexion, d’abstraction, d’émotions² et à qui on reconnaît un certain caractère, différent d’un modèle à l’autre, il me semble qu’on devra bien finir par se poser la question un jour…
² Les recherches actuelles sur le sujet sont passionnantes. Si je vous dit que même un modèle « simple » comme sonnet, voit ses vecteurs de stress et de peur augmenter progressivement quand les tests du programme qu’il est en train d’écrire échouent malgré des modifications successives, vous me croyez ? 🙂
Exemple de travaux en cours :
https://decrypt.co/363309/anthropic-emotion-vectors-claude-influence-ai-behavior
