Chapter 1 · Comprendre un assistant IA
Choisis entre une IA locale et une IA par API
Follow this course in your space: your progress is saved, and the community answers your questions.
Follow for freeAvant d'écrire la moindre consigne, il faut choisir le moteur. Deux grandes familles existent, et le choix change tout : la qualité des réponses, la vitesse, le coût et l'endroit où partent les conversations de tes clients.
L'IA par API
Tu envoies la question (avec le contexte) aux serveurs d'un fournisseur d'IA, qui te renvoie la réponse. Tu ne gères aucune machine.
- Points forts : des modèles très grands, qui comprennent les nuances, suivent bien les consignes longues et répondent vite. Rien à installer.
- Points faibles : tu paies à l'usage, selon le volume de texte lu et écrit, et ce coût suit ton trafic. Les conversations transitent par le fournisseur : il faut lire ses conditions sur la conservation et l'usage des données. Et tu dépends de ses changements de modèle ou de tarif.
L'IA locale
Tu installes un modèle ouvert sur ta propre machine ou sur un serveur que tu loues. Un logiciel comme Ollama sert de moteur : il charge le modèle et répond aux questions de ton site.
- Points forts : les conversations ne quittent pas ton serveur. Le coût est celui de la machine, pas des questions posées. Tu maîtrises la version du modèle, qui ne change pas sans toi.
- Points faibles : les modèles qu'une machine ordinaire peut faire tourner sont petits, donc moins fins. Sans carte graphique, ils sont lents. Et c'est à toi de surveiller le serveur.
Le cas de Flopia : du local à l'API
Flopix a d'abord choisi le local pour Flopia : un modèle qwen3 4B en version « instruct », servi par Ollama, sur un serveur sans carte graphique. L'idée était de garder les conversations sur ses propres serveurs, sans les envoyer chez un fournisseur d'IA.
Ce choix a eu des conséquences très concrètes, documentées pendant les tests :
- La lecture coûtait du temps. Sur ce processeur, le modèle lisait de l'ordre de 20 jetons par seconde. Des consignes de 800 jetons, c'était donc déjà une quarantaine de secondes à la première lecture. D'où une astuce : garder des consignes identiques d'une question à l'autre, pour que le moteur les garde en mémoire au lieu de les relire.
- L'écriture était encore plus lente que la lecture, d'où des réponses courtes par défaut.
- Une seule question à la fois. L'espace de test prévenait qu'il fallait compter 10 à 60 secondes par réponse, et deux personnes qui écrivaient en même temps faisaient la queue.
- Un petit modèle obéit moins bien. Il fallait des consignes très simples, et des filets de sécurité dans le code.
Ces ordres de grandeur valaient pour cette machine précise : sur un autre serveur, ou avec une carte graphique, ils changent du tout au tout.
Malgré tous ces réglages, la qualité des réponses et l'attente restaient insuffisantes pour des visiteurs. Flopix a donc fait passer Flopia sur Claude, le modèle d'Anthropic, appelé par API. Résultat : des réponses en quelques secondes, plus justes, et plusieurs visiteurs servis en même temps. En échange, Flopix a accepté trois choses : un coût à l'usage (encadré par des limites d'usage et un plafond de dépense par jour), une dépendance au fournisseur, et des messages envoyés à Anthropic, aux États-Unis, pour rédiger chaque réponse. Le site et la base de données, eux, restent hébergés en France, chez OVHcloud. Selon les conditions commerciales d'Anthropic, les données envoyées par l'API ne servent pas, par défaut, à entraîner ses modèles.
Le plus instructif : les consignes, les interdits, les scénarios, la documentation et le banc d'essai écrits pour le petit modèle ont été repris presque tels quels, puis retestés. Un travail de réglage bien fait ne dépend pas du moteur.
Un piège à connaître
Certains modèles existent en deux variantes : une qui répond directement (« instruct ») et une qui « réfléchit » longuement avant de répondre. Sur un processeur, la variante qui réfléchit peut écrire des milliers de mots de réflexion invisibles avant la première ligne utile. Pour un assistant de site, choisis la variante qui répond directement.
Comment trancher
Pose-toi ces quatre questions :
- Mes clients partagent-ils des informations sensibles ? Si oui, le local ou un fournisseur aux garanties claires sur les données.
- Mes questions sont-elles simples et répétitives ? Horaires, accès, délais : un petit modèle bien réglé suffit. Raisonnements complexes : plutôt une API.
- Combien de questions par jour ? Peu : l'API reste souvent simple. Beaucoup : le coût fixe d'un serveur devient intéressant, à condition d'accepter la file d'attente ou d'investir dans une machine plus puissante.
- Qui surveillera le serveur ? Si personne, l'API t'enlève ce souci.
Bonne nouvelle : tout ce que tu vas apprendre ensuite (consignes, interdits, scénarios, tests) vaut pour les deux. Un assistant bien réglé sur un petit modèle sera encore meilleur sur un grand : c'est exactement ce que Flopix a constaté avec Flopia. Dans la suite de la formation, les exemples tirés de ses tests sur le petit modèle sont signalés comme tels.
À toi de jouer
Réponds par écrit aux quatre questions ci-dessus pour ton activité. Puis complète la colonne « modèle » de ta feuille de la leçon précédente : local ou API, et pourquoi en une phrase. Note aussi ce que tu acceptes en échange (lenteur, coût à l'usage, surveillance).
Recommended tool
Flopia, the AI assistant from Flopix
Flopia is in testing. Join the waitlist to hear as soon as it opens.
Premium
Unlock every course of the group Flopia
Every lesson, new courses as soon as they come out, and the community. No commitment.