Faire tourner une IA en local sur une clé USB : la procédure complète

Faire tourner une IA en local ne demande ni serveur ni abonnement, mais un minimum d'aisance technique : une intelligence artificielle complète tient sur une clé USB à quinze euros et fonctionne sans connexion. Je monte la mienne avant chaque démonstration en formation, à Lille, devant des dirigeants convaincus que la chose est réservée aux grandes structures. Il faut deux fichiers et un script de trois lignes. Elle a été montée et lancée sur les trois systèmes. Voici la procédure exacte, dans sa version du 31 août 2026.

Ce qu'il faut, et ce dont vous n'avez pas besoin

Une clé USB de 16 Go au minimum, formatée en exFAT et surtout pas en FAT32. FAT32 plafonne à 4 Go par fichier : le modèle retenu ici passe, le suivant que vous voudrez essayer ne passera pas. exFAT n'a pas cette limite et reste lu nativement par les trois systèmes.

Une clé USB 3 également, ou mieux, un petit SSD externe. Le fichier de modèle est lu directement depuis le support : sur une clé USB 2, le démarrage dure assez longtemps pour que personne n'ait envie de recommencer.

Ce dont vous n'avez besoin à aucun moment : de droits administrateur, d'une carte graphique, d'une installation de Python, ni d'une connexion réseau une fois les fichiers copiés.

Les deux fichiers à télécharger

Le moteur. C'est llamafile, un projet porté par Mozilla : un binaire unique qui démarre sur Windows, macOS, Linux et BSD sans rien installer. Prenez la dernière version publiée sur la page des versions du dépôt, 0.10.5 au moment où j'écris. Sur Windows, ajoutez l'extension .exe au fichier téléchargé, sans quoi le système refusera de l'exécuter.

Le modèle. Un fichier au format GGUF. Je retiens Qwen3-4B-Instruct-2507 quantisé en Q4_K_M, soit 2,33 Go, disponible sur le dépôt GGUF publié par unsloth.

Le script de lancement, par système

Copiez les deux fichiers à la racine de la clé, puis créez à côté un fichier de lancement. Sur Windows, un fichier nommé init.bat :

@echo off
cd /d "%~dp0"
.llamafile-0.10.5.exe --server -m Qwen3-4B-Instruct-2507-Q4_K_M.gguf -c 8192 -ngl 999
pause

Sur macOS et sur Linux, un fichier nommé init.sh :

#!/bin/sh
cd "$(dirname "$0")"
sh ./llamafile-0.10.5 --server -m Qwen3-4B-Instruct-2507-Q4_K_M.gguf -c 8192 -ngl 999

Chaque élément a sa raison d'être, et les omettre coûte du temps :

• La ligne qui se place dans le dossier du script évite l'erreur la plus fréquente : lancé autrement que par un double clic, le script cherche les fichiers dans un répertoire qui n'est pas celui de la clé.
• Le paramètre de contexte fixe la longueur de texte que le modèle peut traiter d'un coup. Sans lui, un document un peu long est tronqué en silence.
• Le paramètre de déchargement graphique confie les calculs à la carte graphique s'il y en a une, et se laisse ignorer sans erreur dans le cas contraire.
• Sur Windows, écrivez la barre oblique inversée et non la barre oblique : l'invite de commandes traite cette dernière comme un caractère d'option. Et gardez la dernière ligne, sinon la fenêtre se referme avant que vous ayez pu lire le message d'erreur.

Le premier démarrage, et les trois pièges

Sur Windows, double clic sur le fichier de lancement. Le filtre SmartScreen affiche un avertissement, comme pour tout exécutable téléchargé et non signé : c'est attendu, pas un symptôme.

Sur macOS, deux obstacles se cumulent. Le binaire téléchargé porte un attribut de quarantaine et le système refuse de l'ouvrir : il faut le retirer en ligne de commande, ou autoriser l'ouverture dans les réglages de confidentialité et sécurité. Et le Finder n'exécute pas un fichier .sh au double clic, il l'ouvre dans un éditeur de texte : renommez-le en init.command, ou lancez-le depuis le Terminal.

Sur Linux, le piège est ailleurs. Les systèmes de fichiers FAT et exFAT ne stockent pas les permissions Unix : le bit d'exécution ne survit pas au démontage de la clé. C'est la raison pour laquelle le script appelle l'interpréteur explicitement au lieu de compter sur ce bit.

Une fois le serveur démarré, l'interface est accessible à l'adresse locale 127.0.0.1 sur le port 8080. Débranchez le wifi : la conversation continue.

Ce que cette clé ne sait pas faire

Le montage impressionne, et c'est précisément pour cela qu'il faut en poser les limites tout de suite.

• Aucun accès au web. La connaissance du modèle est figée au jour de son entraînement. Il ne cherche rien, ne vérifie rien, et ignore tout de l'actualité.
• Un niveau bien inférieur aux modèles en ligne. Quatre milliards de paramètres, cela reformule, résume et extrait honnêtement. Cela ne raisonne pas sur un dossier complexe, et cela se trompe plus souvent.
• Aucune mise à jour. Ni le binaire ni le modèle ne se mettent à jour seuls. La procédure ci-dessus est datée et devra être reprise.
• Ce n'est pas un outil de conformité. Le fait de traiter localement supprime le transfert des documents, il ne règle pas la question juridique. J'ai détaillé ce que cela vaut réellement dans ChatGPT en local et confidentialité des données.

Pourquoi un modèle local ne citera jamais votre entreprise

Un point que les dirigeants découvrent en jouant avec la clé, et qui a des conséquences directes sur leur visibilité. Ce modèle ne consulte aucune source : il ne connaît que ce qu'il a vu pendant son entraînement, arrêté à une date donnée. Quoi que vous publiiez sur votre site, il ne vous citera pas, et interroger un modèle local sur votre entreprise ne mesure donc rigoureusement rien.

Votre visibilité dans les IA se joue ailleurs, sur les moteurs de réponse qui vont chercher le web en direct pour répondre à un artisan de Roubaix qui cherche un prestataire près de chez lui. C'est un travail entièrement distinct, que j'ai décrit dans apparaître dans ChatGPT et Perplexity. Le modèle sur la clé traite vos documents, il ne fait pas votre notoriété.

Par où commencer concrètement

Comptez une heure la première fois, dont l'essentiel en téléchargement :

• Formatez la clé en exFAT avant toute chose, le reformater ensuite oblige à tout recopier.
• Téléchargez le binaire et le modèle, vérifiez que les tailles correspondent à celles annoncées sur les deux pages.
• Créez le fichier de lancement dans un éditeur de texte brut, jamais dans un traitement de texte, qui ajoute une mise en forme invisible et casse le script.
• Testez sur un document réel mais sans donnée sensible, pour juger du niveau avant de lui confier quoi que ce soit.
• Si l'usage s'installe, remplacez la clé par un SSD externe et passez à un modèle plus gros : c'est le même montage, avec un confort sans comparaison.

Pour un accompagnement sur l'usage de l'IA dans votre entreprise et le choix des outils adaptés à vos contraintes, la page consultant IA dans le Nord détaille ma façon de travailler. Pour apprendre à rédiger des instructions qui donnent des résultats exploitables, sur un modèle local comme en ligne, la formation Les bases du prompting (21h, finançable via votre OPCO) part de zéro. Pour un avis sur votre situation avant de vous lancer, contactez-moi directement.