Anthropic API Integration + Cost Tracking

Date : 14/02/2026 Status : TERMINE Projets : ai-orchestrator, ulias-org Commits : 80c546a (ai-orchestrator), 4af3857 (ulias-org)

Objectif

Integrer l'API Anthropic Claude dans ai-orchestrator comme provider LLM cloud pour les agents ulias-org qui font du tool-use complexe. Garder le local (Ollama) pour les taches legeres. Tracker les couts en temps reel.

Ce qui a ete fait

ai-orchestrator

Nouveau tool "anthropic"

• Ajoute dans TOOLS_CONFIG : gpu_id=-1, port=0, pas de VRAM, toujours "running"
• Ajoute dans TOOLS_SCHEMAS : job_types chat (Messages API) et batch (Batch API 50% moins cher)
• Ensemble CLOUD_TOOLS = {"anthropic"} pour bypass GPU slot allocation

Convertisseurs format Ollama <-> Anthropic

• _convert_ollama_to_anthropic() : transforme messages/tools Ollama en format Anthropic Messages API
  • System prompt extrait et mis en parametre system separe avec cache_control: {"type": "ephemeral"}
  • Tool results Ollama (role: "tool") -> blocs tool_result dans un message user
  • Tool calls assistant -> blocs tool_use
  • cache_control sur le dernier tool definition pour cacher toutes les definitions
• _convert_anthropic_to_ollama() : transforme la reponse Anthropic en format Ollama-compatible
  • content[].type="tool_use" -> tool_calls[].function.{name, arguments}
  • Usage tokens mappe vers tokens_input, tokens_output, cache_read_tokens, cache_creation_tokens

Fonctions d'execution

• execute_anthropic_job() : appel Messages API via httpx, timeout 120s
  • Budget guard avant chaque appel
  • Model shorthand : "fast"/"haiku" -> claude-haiku, "sonnet"/"default" -> claude-sonnet
• execute_anthropic_batch_job() : soumission Batch API + poll toutes les 30s (max 2h)
  • 50% moins cher, pour les taches non-urgentes

Cost tracking

• 6 nouvelles colonnes DB sur ai_jobs :
  • cost_usd NUMERIC(10,6) : cout en dollars
  • provider TEXT : "local" ou "anthropic"
  • tokens_input INTEGER, tokens_output INTEGER
  • cache_read_tokens INTEGER, cache_creation_tokens INTEGER
• calculate_job_cost() : calcul par provider
  • Anthropic : pricing par modele (input/output/cache_read/cache_creation per 1M tokens)
  • Local : cout estime par modele (electricite GPU)
  • Support batch discount (50%)
• Tables de pricing mises a jour facilement :

  ANTHROPIC_PRICING = {
      "claude-sonnet-4-5-20250929": {"input": 3.0, "output": 15.0, "cache_read": 0.30, "cache_creation": 3.75, "batch_discount": 0.5},
      "claude-haiku-4-5-20251001": {"input": 0.80, "output": 4.0, "cache_read": 0.08, "cache_creation": 1.0, "batch_discount": 0.5},
  }

Budget guard

• check_anthropic_budget() : verifie le cout mensuel avant chaque appel
• Exception si budget depasse (ANTHROPIC_BUDGET_USD, defaut 120$)
• Warning log a 90% du budget

Endpoints API

• GET /api/costs/live : couts aujourd'hui + ce mois par provider, budget restant, alerte
• GET /api/costs/summary?year=2026&month=2 : detail par provider (jobs, cout, tokens in/out, cache)

Worker

• CLOUD_TOOLS bypass dans job_worker() : dispatch immediat sans GPU slot
• process_single_job() : skip GPU pre-check, tool loading, VRAM measurement pour cloud tools
• Cost tracking automatique dans le flow completed (tous les jobs, local ET cloud)

Config

• conf.prod.gouroubleu.yml : env vars ANTHROPIC_API_KEY (vide) et ANTHROPIC_BUDGET_USD=120
• Pas besoin de nouveau package Python (httpx deja present)

ulias-org

Provider routing

• LLMOptions.provider?: 'local' | 'anthropic' dans client.ts
• AgentDefinition.provider?: 'local' | 'anthropic' dans registry.ts
• AgentConfig.provider?: 'local' | 'anthropic' dans agent-runner/index.ts
• llmChat() : si provider=anthropic, utilise tool_id: 'anthropic' et skip num_ctx
• buildAgentConfig() dans Director passe le provider du registry au runner

Agents assignes a Anthropic (12)

Agents avec tools complexes = provider: 'anthropic' :

• engineering : coder, architect, deployer
• ops : monitor, incident, infra
• specialists : qwik-dev, elysia-dev, pg-dev, vector-dev, gitlab-dev, storage-dev

Agents restes en local (19)

Agents sans tools ou taches simples :

• reviewer, tester (engineering)
• backup (ops)
• explorer, analyst, documenter (research)
• transcriber, vision, organizer (media)
• auditor, watcher, patcher (security)
• strategist, optimizer, connector, learner (transversal)
• profiler, anticipator, simplifier (ceo)

Securite

• service_role_key Supabase retire du prompt storage-dev (remplace par reference $SUPABASE_SERVICE_KEY env var)

Migration SQL executee

ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS cost_usd NUMERIC(10,6) DEFAULT 0;
ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS provider TEXT DEFAULT 'local';
ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS tokens_input INTEGER DEFAULT 0;
ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS tokens_output INTEGER DEFAULT 0;
ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS cache_read_tokens INTEGER DEFAULT 0;
ALTER TABLE ai_jobs ADD COLUMN IF NOT EXISTS cache_creation_tokens INTEGER DEFAULT 0;

Tests effectues

Activation future

Pour activer Anthropic :

1. Obtenir une cle API sur console.anthropic.com
2. Mettre la cle dans conf.prod.gouroubleu.yml : ANTHROPIC_API_KEY: "sk-ant-..."
3. Redeploy ai-orchestrator (push ou smart-deploy)
4. Les agents tool-heavy basculent automatiquement sur Claude
5. Monitorer les couts via /api/costs/live

Fichiers modifies