Retour aux projets

LLM education // transformer // model internals

Recréer ChatGPT de zéro

Projet pédagogique qui reconstruit les briques d’un chatbot génératif pour expliquer ce que cachent les modèles type ChatGPT : tokenisation, entraînement, inférence et limites.

Le projet

Ce projet reconstruit les briques essentielles d’un modèle conversationnel pour expliquer ce que beaucoup d’utilisateurs appellent ChatGPT sans voir l’architecture derrière.

Angle technique

La construction passe par la préparation de texte, la tokenisation, les embeddings, les blocs transformer, la boucle d’entraînement et l’inférence. L’intérêt n’est pas de concurrencer un modèle industriel, mais de rendre visibles ses fondations.

Ce que ça démontre

Le projet montre une compétence de vulgarisation par le code : expliquer un système complexe en le reconstruisant suffisamment pour que ses contraintes deviennent concrètes.