Régulièrement je teste de nouveaux modèles locaux, ce qui est la seule option qui ne me semble pas complètement inacceptable. Même si je dois me pincer le nez très fort en fermant les yeux sur tout ce que vous savez déjà.
Mon Local Language Model du mois sera qwen3.8:27b-mlx mais cette fois j’ai essayé d’aller plus loin que de m’en servir comme d’un StackOverflow qui me servirait de chauffage d’appoint. Pour information — car ça a son importance pour la suite — je fais mes tests sur un Mac mini M4 Pro avec 48Go de ram. Une machine bien au-dessus de la moyenne donc.
Les premiers tests avec Ollama donnent des réponses pertinentes, presque trop, le code fonctionne (quasiment) en sortie mais manque beaucoup d’élégance. J’ai tout de même une base pour un cas concret : des web components pour afficher des variations sur un texte ancien. C’est relativement rapide, deux/trois minutes par réponse et il me faut quelques passes d’affinage avant de reprendre la main.
Je creuse ensuite grâce à cet article le couplage avec une surcouche de « raisonnement » et je pars sur qwen-code pour rester dans la famille, je me dis qu’il n’y aura pas plus pertinent que ce couplage mais je tâtonne un peu pour connecter les deux. Ma première question fait tourner le GPU pendant 2h avant de partir en time out sur une des itérations. Frustrant. Pour rappel je passe d’un consommation de base d’une trentaine de watts à plus de quatre-vingt watts lorsque le modèle s’exécute, je vous laisse faire le calcul de ce que m’aura coûté ce test en heures de panneaux solaires. D’autant plus frustrant que je n’ai aucun retour intermédiaire pour savoir ce qu’il se passe. Alors je commence à configurer pas mal de choses en mode I don’t know what I am doing à grand renfort de contextWindowSize, temperature et max_tokens avant d’activer le enable_thinking pour découvrir que le modèle part dans toutes les directions afin de sauver le fichier à l’endroit qui serait le plus pertinent dans mon arborescence de fichiers !
Ce que m’a surtout appris ce test sur du raisonnement (j’arrête les guillemets mais on se comprend) c’est que la consommation est de plusieurs ordres de grandeur au-dessus d’un usage question/réponse. Lorsque vous lisez qu’une requête à un LLM coûte x, vous pouvez multiplier par 1000 pour un usage en développement avec un Claude Code-like et je n’évoque même pas les personnes qui lancent des sous-agents, des harnais et compagnie. Est-ce que la réécriture de bun en Rust est l’équivalent du décollage d’une fusée Starship ? On arrivera peut-être à le savoir un jour… en attendant on s’amuse de pelicans qui font du vélo. Everything is fine.
Et puis je tombe finalement sur MTPLX qui est vraiment dédié à du Apple Silicon et qui télécharge ses propres modèles « tunés » (impossible de savoir ce qui a vraiment été adapté dans les modèles en question…). Il y a une phase d’analyse de la machine et ensuite ça prend la main sur les ventilateurs notamment. Ça fait très peur car s’il y a un bug je me dis que ça crame potentiellement la machine — en plus de la planète. La consommation monte à 140 watts en usage ! Mais c’est vrai que ça vient grappiller des (tokens par) secondes alors que j’ai choisi le Optimized Quality. Je pense que c’est parce que les ventilos démarrent à fond immédiatement + le modèle est chargé dès le lancement du serveur et pas à chaque question et il y a des mécanismes internes de réutilisation / optimisation.
Bon et la conclusion de tout ça ?
Les modèles locaux progressent, saison après saison, et je n’ai pas encore noté de plateau comparé à mes tests précédents. C’est du gros ressenti mais ça ne vaut pas moins que des benchmarks pipés. Bien qu’ayant une très bonne machine, je ne peux pas aller vers du raisonnement sans réduire la taille du modèle (et donc sa qualité) ou ses paramètres (ce qui revient au même) pour un usage quotidien de développeur web. Je n’ai pas essayé de connecter qwen-code à MTPLX. Peut-être que je reconsidèrerai la question au cœur de l’hiver 😅.
Je comprends l’intérêt d’avoir des directives plus claires en entrées pour couper des branches de l’arbre des possibles. Mais si je veux être aussi précis ça va potentiellement plus vite de le faire à la main pour mon usage encore une fois. Je n’ai pas encore testé les skills et compagnie, ce sont des essais que je fais de plus en plus sérieusement mais je ne souhaite pas y dédier trop de temps non plus.
Les résultats en mode questions/réponses sont passables et il faut reprendre beaucoup de choses derrière, néanmoins cela peut fournir une base et des pistes d’explorations intéressantes. J’ai été surpris par la pertinence des examples initiaux proposés sans aucun guidage de ma part. J’ai poussé un peu le modèle en lui promptant une analyse de performance pour du code et ça m’a sorti plein de choses que j’ai ensuite choisi de ne pas intégrer car cela rendait le code illisible. J’imagine que d’autres personnes auraient fait d’autres choix dans d’autres contextes. Je ne suis pas encore prêt à laisser la main sur la maintenance / évolutivité même sans avoir une dépendance à un abonnement.
L’avantage de ces constats, c’est que je ne suis pas encore tenté d’utiliser ces outils au quotidien. Pourvu que ça dure… encore quelques saisons ?
Réagir ?