❌

Vue lecture

AIndie

En réaction à un courriel de Karl Dubost

Ce qui était chouette dans le Web Indie, c’est quand une personne partageait en plus de son expérience sensible (ton article) ajoutait la partie pédagogique. C’est à dire toute l’explication de comment installer, sur quelle machine, avec quelles contraintes, etc.

Nouveau test pour ce mois-ci : essayer de faire tourner encore plus de choses en local et voir où cela peut me mener. Jusqu’à présent je ne documentais pas trop le processus pour ne pas encourager l’usage mais je préfère l’écrire une fois plutôt qu’il y ait autant d’intéressé·es qui le promptent suite à la lecture trop évasive 🙃.

En arrière pensée, si toutes les personnes qui louent leur outil de travail à OpenAI et Anthropic se mettent à utiliser des modèles locaux, j’y vois plusieurs externalités positives :

  • prendre conscience de l’énergie et du temps que ça prend sur leur machine et réaliser l’ordre de grandeur nécessaire pour avoir des réponses instantanées de Claude et ses amis ;
  • s’émanciper à terme de l’hégémonie de quelques acteurs américains (oui j’ai conscience que Qwen est chinois, tous les modèles ont des biais, tous) ;
  • fort de ces constats, réduire l’usage et mutualiser les serveurs faisant tourner les modèles localement ce qui est l’option la plus __________ (remplir à votre convenance).

Pour les externalités négatives, elles sont suffisamment documentées. Faire tourner Ollama pendant une canicule devrait vous aiguiller.


En pré-requis, il faut avoir installé Ollama et aller récupérer le modèle qwen3.8 (en version mlx si vous êtes sous macOS avec une puce Mx). Cela nécessite d’avoir au moins 24Gb de ram si vous voulez une certaine réactivité… en gros un peu plus que la taille du modèle qui fait ici 18Gb.

Autre pré-requis, il faut activer Expose Ollama to the network dans les préférences ce qui signifie qu’en allant sur http://127.0.0.1:11434/ vous devriez avoir un message Ollama is running.

Note : ce qui suit peut être dangereux pour votre machine et pour son exposition sur le réseau. Je ne suis pas responsable blablabla…

Ollocal

On commence avec une première idée qui me travaille depuis que j’ai commencé à faire des tests sur Ollama : est-ce qu’on peut l’exposer sur le réseau local pour que d’autres personnes puissent en bénéficier ? (Depuis un téléphone par exemple.)

Il se trouve que oui et j’ai essayé de passer par open-webui pour le faire. J’ai creusé fort pour ne pas utiliser Docker mais j’ai finalement abandonné l’idée de « juste » lancer une commande uv car les versions des dépendances (notamment à pyarrow) sont obsolètes et ça demandait trop de manipulations pour que je puisse le documenter par la suite. Si les wheels existent pour votre architecture il est possible que la commande suivante fonctionne (un jour) :

WEBUI_HOST=0.0.0.0 WEBUI_PORT=3000 uv run --with open-webui open-webui serve

Mais pour moi ça ressemblait plus à :

launchctl setenv OLLAMA_HOST 0.0.0.0:11434 (ollama à redémarrer)
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.votre.ip:11434 -v open-webui:/app/backend/data --name open-webui-local ghcr.io/open-webui/open-webui:main

En gros on lance l’image Docker officielle qu’on rend accessible sur le port 3000 mais on doit préalablement dire à Ollama de ne pas se restreindre à localhost car on va ensuite taper dessus depuis l’extérieur.

Depuis un autre périphérique, vous devriez pouvoir rejoindre http://192.168.votre.ip:3000 ou mieux http://nom-de-votre-machine.local:3000 si vous êtes sous macOS. J’ai ensuite créé un même compte pour toute la famille mais vous pouvez adapter une fois identifié en tant qu’administrateur·ice.

CestPasToutRose

A.k.a Context-Preserving Tensorial Reconfiguration (CPTR pour les intimes) que j’ai découvert en me documentant sur le précédent essai : est-ce que je pourrais exposer un Claude-code like sur le réseau pour faire cramer ma tour depuis mon laptop ? Mes précédents essais ressemblaient tout de même à des échecs avec du « raisonnement » qui était trop lent pour mon usage.

Il y a un paquet Python qu’il faut faire tourner ainsi :

uvx cptr@latest run --host=nom-de-votre-machine.local --port=3001

Puis aller dans les Settings → Admin → Connections et renseigner http://127.0.0.1:11434/v1 (attention le /v1 est important). Cela devrait vous permettre d’accéder aux modèles locaux que vous avez téléchargés avec Ollama sauf que cette fois-ci vous pouvez spécifier un Workspace avec vos fichiers et ils vont être pris en contexte. Au passage, je vous recommande de passer en thème clair pour l’interface sinon c’est tellement illisible que je sais que le thème a été généré sans prise de soin de l’accessibilité…

Ça reste relativement lent donc cela me sert uniquement à investiguer des domaines où je veux devenir compétent (comme comprendre les diacritiques sur du Grec ancien pour pouvoir faire de la recherche fulltext — coucou iota souscrit et sigma en forme finale — vrai projet en cours). Si je le lance en mode YOLO je perds tellement l’attention que je me retrouve à rédiger ce billet de blog en parallèle. Oups.

Conclusion après une après-midi à jouer avec, j’ai perdu pas mal de temps, plus que ce que j’aurais mis tout seul justement car j’ai fini par demander de tout faire pour l’exercice plutôt que les seules parties où je manquais de compétences au sens métier. L’usage des LLM nécessite une part d’apprentissage aussi !


Suis-je en train de me faire happer par le systAIme à force de tester des choses et de les rendre de plus en plus opérantes ? Qui gagnera entre Hestia (interprètation post-antique sinon Marcello va me crucifier), le Centaure et le Minotaure ? Réponse dans le prochain billet. #teasing

Pensée du soir : les informaticiens s’ennuyaient tellement qu’ils ont inventé les barres de progression qui parlent.


Réagir ?

  •  

Liens 40

Rêver pour LaSuite d’une trajectoire comparable suppose précisément ce changement d’échelle : ne plus seulement construire une excellente suite logicielle publique française, mais créer les conditions pour qu’elle puisse un jour appartenir à un écosystème bien plus vaste que celui qui l’a fait naître. • Samuel Paccoud quitte la DINUM : émoi, soulagement et grand espoir pour LaSuite

Une fuite dite « super-émettrice », c'est-à-dire le rejet de plusieurs tonnes de méthane par heure à partir d'une seule vanne ou d'un seul gazoduc, réchauffe la planète davantage que les émissions d'un million de SUV ou d'une centrale à charbon entière.

Le Turkménistan a désormais colmaté huit fuites en réparant des canalisations corrodées, des puits défectueux et des torchères défaillantes. • 27 bonnes nouvelles - récolte du jeudi dix septembre 02026

Le BOA ne survient pas sans raison. Il est le fruit d’un déséquilibre prolongé entre les ressources disponibles chez la personne autiste et les exigences de son environnement. Cela peut inclure une surcharge sensorielle, émotionnelle ou cognitive, un masquage social constant, des attentes trop élevées, ou encore un manque de temps de récupération. Dans bien des cas, cet épuisement s’installe lentement, presque silencieusement, jusqu’à ce que la personne se retrouve incapable de fonctionner comme avant, sans toujours comprendre ce qui lui arrive • Burn out autistique (PDF)

Aujourd'hui, les centres de données au Québec c'est… • Centres de données au Québec | Cartographie & Consommation Énergétique

Citation de la semaine :

Ce qui me bouleverse, ce n’est pas que tu m’aies menti, c’est que désormais, je ne pourrai plus te croire. • Friedrich Nietzsche

Et pour un clic de plus.


Réagir ?

  •  
❌