Task : Intent Detection Layer + Upload Fichiers Chat AI

Date : 01/02/2026 00:30 (maj 10:20) Statut : EN COURS (tests front manuels restants)

Contexte

Le chat AI utilisait un prompt systeme de ~4500 tokens pour que le LLM (mistral 7B) genere des [TOOL_CALL:] structurees. Ca ne fonctionnait pas car mistral ne suit pas les instructions structurees. Solution : detection d'intent deterministe (code pur) + execution directe API + LLM uniquement pour formater les resultats.

Travail realise

1. Intent Detection Layer (intentDetector.ts) - CREE

Fichier : connectors-api/src/services/intentDetector.ts

• Detection par mots-cles francais/anglais (CONNECTOR_KEYWORDS, ACTION_KEYWORDS, GENERIC_CONNECTOR_KEYWORDS)
• 3 niveaux de confiance : high (execution directe), medium (clarification LLM), none (fallback)
• Upgrade automatique de confiance : si endpoint + instance resolus → high
• Resolution automatique d'instance utilisateur
• Extraction de searchTerms (regex greedy + nettoyage bruit)
• Support connecteurs : jellyfin, github, gmail, nextcloud, proxmox, mailjet, web-search, scraper, yolo
• Step D0 : detection prioritaire d'URL (scraper pour pages web, YOLO pour images)
• Step A2 : detection d'image attachee → intent YOLO avec bucketPath
• Clarification interactive quand confiance medium (choix multi-connecteurs)
• Detection AI generation par pattern verb+noun (pas phrases rigides) :
  • Verbes : genere, cree, fais, donne, montre, veux, besoin...
  • Types : image/images/photo → comfyui, musique/chanson → musicgen, video → wan21
  • Exclusion : si un nom de connecteur est present, pas de match AI ("video sur jellyfin" → jellyfin)

2. Intent Executor (intentExecutor.ts) - CREE

Fichier : connectors-api/src/services/intentExecutor.ts

• Execution directe des intents detectes via proxyFetch
• Prompts de formatage minimalistes (~300 tokens au lieu de ~4500)
• Prompt classificateur pour cas ambigus
• executeYoloIntent() : telechargement image (URL ou Supabase Storage) → multipart upload vers YOLO → formatage resultats
• formatYoloResults() : groupement par classe, confiance, comptage
• preFormatMediaItems() : extrait Name, Year, Type, _playerUrl, _imageUrl, duree, serie/album → markdown compact (~200 chars/item au lieu de ~800 en JSON brut). Empeche le LLM d'halluciner des URLs quand le JSON est tronque.
• Enrichissement automatique des resultats (autoEnrichListResult, enrichMediaItems)
• Deep search : retry automatique avec searchTerm si premiere requete vide

3. Integration aiChat.ts - MODIFIE

Fichier : connectors-api/src/services/aiChat.ts

• Integration du detectIntent() dans _processMessage() (entre auto-summarize et LLM call)
• Flow : high → execution directe + formatage LLM | medium → clarification | none → fallback reduit
• SSE steps : intent, intent_result, api_call, deep_search, clarify, formatting
• Prompt systeme reduit en fallback (~800 tokens au lieu de ~4500)
• Step 2b : association des attachments au message utilisateur
• Passage des attachments a detectIntent() pour detection YOLO
• getMessages() : jointure des attachments aux messages

4. Upload de fichiers - CREE/MODIFIE

Backend (connectors-api/src/index.ts) :

• Route POST /api/ai/conversations/:id/attachments (multipart, 10Mo max)
• Validation MIME types (images, PDF, texte, CSV, JSON, audio, video)
• Upload vers Supabase Storage bucket ai-outputs path {userId}/uploads/{conversationId}/{uuid}-{filename}
• Insert dans table ai_attachments
• Route stream modifiee pour accepter attachment_ids

Frontend (connectors-front) :

src/components/ai/ChatInput.tsx - reecrit :

• Bouton trombone (clip) pour selection fichier
• Drag & drop sur la zone d'input
• Coller image (Ctrl+V / paste)
• Preview : thumbnails images, badges fichiers avec taille
• Bouton supprimer (X) sur chaque preview
• Upload automatique vers API, spinner pendant upload
• Envoi des attachment_ids avec le message

src/components/ai/ChatMessages.tsx - modifie :

• Interface Attachment ajoutee a Message
• Affichage thumbnails images cliquables (lien vers fichier)
• Badges fichiers non-image avec nom + taille
• Masquage texte "(fichier joint)" quand seul contenu

src/lib/api.ts - modifie :

• Methode uploadChatAttachment(conversationId, file) (FormData + credentials: include)
• sendChatMessageStream() accepte et passe attachmentIds

src/routes/chat/[id]/index.tsx - modifie :

• sendMessage accepte attachmentIds
• Passe conversationId a ChatInput

5. Corrections de bugs

Commits

connectors-api (projet GitLab #105)

965400a fix: use markdown image format in intentExecutor formattedData
382f29a fix: use markdown image format in fallback LLM tool_call path
2d6354d fix: display generated images inline with markdown syntax
56b83d4 fix: handle AI job errors + SSE heartbeat during polling
795fde8 fix(intent): pass connector name to extractSubject in jellyfin endpoint
4f3c0cd fix(intent): link to Jellyfin web UI + extract subject from list queries
1b07d5b fix(intent): pre-format media items to prevent LLM URL hallucination
c15cfbd fix(intent): improve AI generation detection with verb+noun pattern
7d0833e fix(intent): YOLO check includes bucketPath for uploaded images
b1b4bd3 feat(chat): file upload support for chat messages
2f72bc9 feat(intent): add YOLO object detection support
6184528 feat(intent): prioritize scraper when message contains URL
d0661f7 fix(intent): use correct connector type 'scraper' instead of 'web-scraper'
3d2fbcd fix(intent): upgrade confidence when endpoint+instance resolved, fix search terms
... (commits anterieurs pour intent detection layer)

connectors-front (projet GitLab #113)

edf1e1d fix(api): remove trailing comma in class method
0e170a4 feat(chat): file upload UI and attachment display
a1d15c7 feat(chat): SSE streaming progress indicators

Pipelines CI/CD

Tests effectues (curl)

Tests restants (navigateur sur https://connectors-front.33800.nowhere84.com)

Upload de fichiers (ChatInput)

• [ ] Bouton trombone → selectionner image → preview thumbnail
• [ ] Drag & drop image → preview
• [ ] Coller image (Ctrl+V) → preview
• [ ] Supprimer preview avant envoi (clic X)
• [ ] Fichier non-image (PDF/txt) → badge avec nom + taille
• [ ] Fichier > 10 Mo → erreur

Envoi avec piece jointe

• [ ] Image + "analyse cette image" → YOLO haute confiance
• [ ] Image seule sans texte
• [ ] Texte seul sans piece jointe → chat normal

Affichage messages (ChatMessages)

• [ ] Message user avec image → thumbnail cliquable
• [ ] Message user avec fichier non-image → badge
• [ ] Reponse assistant → markdown rendu

Generation d'images (intent AI)

• [ ] "fais moi une image de chat" → haute confiance comfyui
• [ ] "donne moi deux images de paysage" → comfyui (pas clarification)
• [ ] "cree une musique de jazz" → musicgen

Connecteurs (intent fetch)

• [ ] "derniere video sur jellyfin" → lien player + image vraies URLs
• [ ] "cherche batman sur jellyfin" → resultats avec vraies URLs
• [ ] "recherche macron sur le web" → web-search SearXNG
• [ ] "ouvre la page https://news.ycombinator.com" → scraper

Chat normal (fallback)

• [ ] "bonjour" → reponse chat normale

Prioritaires : bouton trombone, YOLO+image, texte seul, image de chat, batman jellyfin, derniere video, bonjour

Fichiers crees/modifies