Oh Matilda — Assistant IA Agentic Offline-First
Problème
La plupart des assistants IA modernes dépendent d'un serveur cloud. Cela signifie que vos données — documents, questions, conversations — transitent par des serveurs que vous ne contrôlez pas. Et en l'absence de connexion, l'assistant devient inutile.
Pour les utilisateurs travaillant avec des documents sensibles ou dans des environnements à connectivité limitée, cette dépendance cloud est un dealbreaker.
Solution proposée
Oh Matilda est une application Android qui exécute un assistant agentic directement sur l'appareil. Pas de serveur obligatoire, pas de compte requis, pas de données qui quittent le téléphone — sauf si l'utilisateur choisit d'activer un service cloud avec sa propre clé API.
Le cœur du système repose sur :
- llama.cpp via
llama.rnpour faire tourner Gemma 4 (quantifié en Q2/Q4 GGUF) directement sur le CPU/GPU du téléphone - BGE-M3 en local pour les embeddings et la recherche vectorielle dans les documents
- Vercel AI SDK (ToolLoopAgent) pour orchestrer la boucle agent : recherche sémantique, web search optionnel, self-correction
- SQLite pour la persistence des conversations, documents, et métadonnées
- NativeWind (Tailwind) pour l'interface utilisateur
Stack technique
| Couche | Technologie |
|---|---|
| Framework mobile | Expo SDK 54 + React Native 0.81 (New Architecture) |
| Agent IA | Vercel AI SDK v6 — ToolLoopAgent |
| LLM local | llama.rn + Gemma 4 (GGUF) |
| Embeddings | BGE-M3 (local, GGUF) |
| Vector store | SQLite + cosine similarity |
| Web search | Tavily API (BYOK) |
| Documents | PDF, DOCX |
Fonctionnalités clés
- Agentic RAG — Recherche sémantique dans vos documents avec self-correction : si la pertinence d'un résultat est trop faible, l'agent réécrit automatiquement la requête et réessaie
- Multi-provider — Bascule entre le modèle local, Ollama Cloud, ou votre propre instance Ollama
- Streaming chat UI — Rendu markdown, messages modifiables, régénération
- Multimodal — Capture et envoi d'images au modèle local (vision)
- Persistent memory — SQLite avec compactage automatique du contexte
- Thèmes dark/light — Entièrement fonctionnel hors-ligne dès le premier lancement
Résultat
Oh Matilda démontre qu'il est possible de faire tourner un agent IA capable de raisonner, chercher dans vos documents et se corriger — entièrement sur un téléphone Android milieu de gamme. L'APK est disponible en release GitHub pour sideloading.