État des lieux IA - Orchestrator & Jobs

Date : 19/01/2026 00:10 (MAJ) Auteur : Claude Status : COMPLET - Applio et SadTalker réinstallés

Résumé

Inventaire complet des 10 outils IA gérés par l'orchestrator avec leur mode d'exécution et status.

1. Outils IA - État actuel

2. Analyse détaillée par catégorie

LLM (ollama)

• Status : ✅ Fonctionnel
• Mode : Full API (REST native)
• Params : prompt, model, system, temperature, max_tokens
• 16 modèles disponibles (llama3.1:70b, qwen2.5:32b, deepseek-r1:32b, etc.)

Image (comfyui, fooocus)

• ComfyUI : ✅ Full API testé
  • Workflow SDXL complet
  • Dernier job : SUCCESS (1.4 Mo PNG, 177s)
• Fooocus : ✅ Full API testé
  • REST API via Fooocus-API
  • Test : 24.8s, 1.69 Mo

Audio (bark, musicgen, applio)

• Bark TTS : ✅ Full API
  • Voix avec émotions [laughs], [sighs]
• MusicGen : ✅ Full API
  • Génération musique 10-30s
• Applio RVC : ✅ TESTÉ (18/01/2026 18:15)
  • Gradio 5.23.1 avec API prefix /gradio_api
  • 60 paramètres pour l'inférence (enforce_terms)
  • Workflow :
    1. Installer modèle RVC dans logs/{model}/
    2. Appeler change_choices pour rafraîchir dropdowns
    3. Appeler enforce_terms avec les 60 paramètres
  • Test réussi : 538 Ko input → 2.6 Mo output WAV
  • Modèle testé : Haruka (VT-TTS_Haruka.pth)

Video (wan21)

• Wan2.1 : ✅ FIXÉ (18/01/2026 17:35)
  • Ancien problème : Crash Gradio (ConnectionResetError, Flash Attention manquant)
  • Solution : Mode CLI direct (generate.py)
  • Patch : model.py utilise attention() avec fallback PyTorch
  • Transfert : SFTP au lieu de SCP (/I:/path format)
  • Prompt : Base64 encodé pour éviter échappement shell
  • Test réussi : Job 9cf733b4-5587-46b7-98a7-b0be4a7e3dcf
    • Prompt: "a colorful sunset over ocean waves"
    • Temps: 219s (~3.5 min pour 5 steps)
    • Output: 1.3 Mo MP4

Face (sadtalker, facefusion)

• SadTalker : ✅ TESTÉ (18/01/2026 20:50)
  • Gradio 3.50.2 - API retourne 500 (bug Gradio interne)
  • CLI mode : inference.py fonctionne parfaitement
  • Patches requis :
    1. my_awing_arch.py : np.float → float
    2. preprocess.py : float(s), float(t[0]), float(t[1])
  • Modèles téléchargés : ~1.2 Go (safetensors + mapping + gfpgan)
  • Test réussi : 3s audio → 84 Ko MP4 en 4m38s
• FaceFusion : ⚠️ Fichiers manquants
  • Full API implémenté (Gradio 5.x)
  • Erreur : fichiers source non trouvés
  • Documentation nécessaire sur chemin inputs

3D (triposr)

• TripoSR : ✅ FIXÉ (18/01/2026 16:45)
  • Patch : isosurface.py utilise PyMCubes au lieu de torchmcubes
  • Workflow : Deux étapes (preprocess → generate)
  • Test réussi : 18s processing, 1.7 Mo GLB output

3. Historique Jobs récents

4. Corrections effectuées (18/01/2026)

Wan2.1 - Mode CLI (17:35)

Problème : Crash systématique en Full API Gradio

• ConnectionResetError pendant génération
• Flash Attention 2 non disponible sur Windows
• Process Python mourait sans message d'erreur

Solution :

1. Mode CLI : Utilise generate.py directement via SSH
2. Patch attention : I:\Wan2.1\wan\modules\model.py

   # Avant
   from .attention import flash_attention
   # Après
   from .attention import attention as flash_attention

3. Wrapper base64 : Script Python temporaire avec prompt encodé
4. SFTP : Format /I:/path au lieu de SCP

Commits GitLab :

• 91d63e3 : Wan2.1: switch to CLI mode
• a98a868 : Fix prompt escaping base64
• 2e52119 : Fix SCP path escaping
• 670b080 : Use SFTP for Windows

TripoSR - Patch PyMCubes (16:45)

Problème : torchmcubes nécessite compilation CUDA

Solution :

• Patch I:\TripoSR\tsr\models\isosurface.py
• Utilise mcubes (PyMCubes) au lieu de torchmcubes
• Workflow 2 étapes : /preprocess puis /generate

5. Actions restantes

Priorité HAUTE (fixé ✅)

1. Investiguer Wan2.1 → ✅ FIXÉ avec CLI mode
2. Tester TripoSR Full API → ✅ FIXÉ avec PyMCubes

Priorité MOYENNE (fixé ✅)

3. Tester Applio Full API → ✅ TESTÉ avec modèle Haruka
4. Réécrire executor Applio → ✅ Gradio 5 API (60 params)
5. Réécrire executor SadTalker → ✅ CLI mode

Priorité BASSE (fixé ✅)

6. Tester SadTalker Full API → ✅ CLI mode (Gradio API bug)
7. Tester Queue System complet → ✅ Ollama, Bark, TripoSR testés

Documentation

8. Documenter usage FaceFusion - Chemin des fichiers input (/ai-data/inputs/)

6. Queue System Status

Pending High:   0
Pending Normal: 0
Pending Low:    0
Current Tool:   triposr (dernier utilisé)

Tests Queue System (21:25):

• ✅ Ollama list_models → 16 modèles
• ✅ Bark TTS → 540 Ko WAV (switch auto Ollama→Bark)
• ✅ TripoSR → 1.6 Mo GLB (switch Bark→TripoSR)

Le système de queue fonctionne correctement avec switch automatique d'outils.

7. Fichiers modifiés sur win11

Outils sur I:\ (anciens)

Outils sur C:\Users\gouro\ (nouveaux - 19/01/2026)

Note : Ces patches doivent être préservés lors de mises à jour des outils.

Backups : /stock_8to/backups/win11-patches/

8. Migration Applio/SadTalker (19/01/2026)

Nouveaux chemins

Installation effectuée

• Applio : venv Python 3.11 + dépendances (torch 2.5.1+cu121)
• SadTalker : venv Python 3.11 + dépendances + modèles (~2.5 Go)

Patches requis pour SadTalker

1. basicsr: Fix import torchvision pour versions récentes
2. my_awing_arch.py: np.float déprécié
3. preprocess.py: Extraction scalaires NumPy

Test CLI direct

cd C:\Users\gouro\SadTalker
venv\Scripts\python.exe inference.py --source_image inputs/happy.png --driven_audio inputs/RD_Radio31_000.wav --result_dir results/test --checkpoint_dir checkpoints

Résultat : ✅ 175 Ko MP4 en ~30s