Dans le même esprit j'ai vibe–codé une application pour générer des flashcards pour travailler le japonais en m'inspirant de ton talk "patterns agentiques" de #devoxxfr (avec Gemini et déploiement sur Google Cloud Run)

Faut-il interdire les LLM ? 🛑 Rémi Forax (@OpenJDK) nous dit ce qu'il en pense ! Au programme : 🛠️ Le dev de LazyLR assisté par IA 📉 Pourquoi le "Vibe Coding" est une impasse 🧠 La méthode "Chirurgien" ❌ Pourquoi les LLM sont bannis d'OpenJDK 🎬 youtu.be/cBXFOK6Cwy0

je ne l'imaginais pas comme ça Susan Calvin

Merci Fabien.

Ce qui rend l'éducation plus simple, c'est justement ce peu de degrés de liberté dans l'espace des éducations possibles. Au niveau des LLM, l'espace des entrainements possibles est supérieur de probablement plusieurs ordres de grandeurs.

Je ne dis pas le contraire, mais je pense que nous avons le même type de problème (et d'échecs) avec l'éducation humaine. L'environnement d'entrainement des LLM est plus contrôlé, et il y a bien plus de degrés de liberté dans l'entrainement d'un LLM que dans l'éducation humaine

Et pour ceux qui veulent voir justement Owain Evans présenter l'étude ⤵️

À démontrer. L'alignement par retour humain ou IA est lourd à réaliser. Il produit un équilibre fragile entre les poids issus du pré-training et du fine-tuning qui peut être rompu de façon imprévisible (version n 1 du LLM ou autre fine-tuning). Voir par ex nature.com/articles/s41586-0…

Jean-Gabriel Ganascia keynote speaker cette année chez @DevoxxFR, où il fortement dénoncé le travail d'alignement de Claude : le projet "d'IA constitutionnelle" d'Anthropic "c'est faire de la censure", et cela annonce l'entrée dans "l'âge de la falsification et du contrôle".

Je pense au contraire que c'est bien plus simple avec les LLM : on peut les copier à l'identique et mener des expériences différences en parallèle dans un environnement beaucoup mieux contrôlé. En terme d'analyse, ça simplifie énormément les choses.

Une des raisons est que pour les humains, on dispose de milliards d'individus, avec des conceptions de cerveau assez similaires. On peut essayer d'isoler des paramètres, en tester d'autres. Avec les LLM, ce n'est pas le cas. Et la conception change à chaque nouvelle version.

Pour l'éducation, on peut mener des études pour déterminer les pédagogies qui marchent et celles qui ne marchent pas. On peut élaborer des théories et les valider. Pour l'alignement, nous en sommes très loin.

C'est du même ordre que l'éducation, non ?

Oui, et sur le côté bricolage justement :

Par ailleurs, l’alignement reste du bricolage dont espère qu’il va ressortir plus ou moins ce qu’on veut, la plupart du temps. Sans trop bien savoir finalement ce qu’il va se passer. Cela a donné matière à tous les romans d'Asimov sur les robots.

Vaste sujet que celui de l’alignement. C’est vrai que celui qui conçoit décide de la nature de l’alignement qu’il souhaite. Un alignement neutre n’existe pas. Et pas d’alignement, ce n’est pas neutre du tout. On a une vraie question sur le pouvoir des entreprises qui conçoivent.

Debugging with #IntelliJ IDEA, presented at @DevoxxFR youtube.com/watch?v=SUGQ_Y2b…