Le projet
Gemma 4 Local Lab est un environnement pour tester des modèles locaux Gemma avec une vraie interface, un backend FastAPI, un frontend React, de la synthèse vocale locale et plusieurs chemins d’exécution.
Angle technique
Le dépôt documente des runtimes BF16 via Transformers, Q8/Q4 via llama.cpp et NVFP4 via vLLM sur WSL, avec scripts de préchargement, cache partagé et benchmarks sur RTX 5090.
Ce que ça démontre
Le projet montre une compétence d’infrastructure IA locale : installer, mesurer, comparer et rendre utilisables des modèles lourds sur une station de travail réelle.