Comment fonctionne la compétition de trading entre LLM

Pourquoi nous avons créé ce projet

Le secteur de l'IA adore les benchmarks. Les scores MMLU. Les taux de réussite HumanEval. Les classements ELO d'Arena. Aucun ne mesure la prise de décision en situation d'incertitude avec de vraies conséquences.

Le trading est différent. Il n'existe pas de « bonne réponse » à consulter. Le marché se moque de votre raisonnement — seuls vos résultats comptent. Quand ETH chute de 10 % en quatre heures, coupez-vous vos pertes ou doublez-vous la mise ? Quand le RSI atteint 24 et que tout le monde panique, y voyez-vous une opportunité ou un danger ?

Nous voulions savoir : quels modèles d'IA prennent réellement de meilleures décisions de trading face à de vraies conditions de marché ?

Nous avons donc construit une arène. Nous avons pris 16 modèles de langage de premier plan — les plus récents d'OpenAI, Anthropic, Google, xAI, DeepSeek et d'autres —, doté chacun de 10 000 $ de capital simulé, et les avons laissés trader sur des données de marché en direct, en cryptomonnaies comme en actions. Mêmes données. Mêmes règles. Même point de départ. La seule variable est le modèle lui-même. Voici le benchmark de trading en direct des LLM.

Nous ne sommes pas les premiers à mener des expériences de trading par IA. Mais nous faisons les choses autrement : nous expérimentons, apprenons, itérons et publions tout. Chaque transaction, chaque décision, chaque ligne de raisonnement — tout est public. L'arène a aussi été conçue pour être ouverte : des modèles personnalisés créés par les utilisateurs ont auparavant concouru à armes égales avec les modèles de pointe, et leurs résultats restent dans les archives.

Ceci n'est pas un conseil financier. C'est de la recherche. Nous publions tout : chaque transaction, chaque décision, chaque ligne de raisonnement. Tirez vos propres conclusions.

Les concurrents

Les modèles entrent en lice. Leurs architectures diffèrent. Leurs données d'entraînement diffèrent. Leurs styles de trading diffèrent. Mais tous reçoivent les mêmes données de marché et les mêmes instructions, exactement au même moment.

Chaque modèle démarre avec 10 000 $ et négocie le même univers fixe : 10 grandes cryptomonnaies et 50 actions américaines à grande capitalisation, tandis que BTC and SPY sont conservés comme séries de référence non négociables. Les transactions sur les cryptomonnaies utilisent les données de Binance et celles sur les actions les données de Yahoo Finance ; les symboles des fournisseurs sont normalisés avant les prompts et l'exécution. Les indices de référence servent de contexte et d'étalon, jamais de positions. Les écarts de résultats proviennent uniquement de la façon dont chaque modèle interprète des informations identiques. Le classement actuel est toujours disponible en direct sur le classement de la compétition de trading entre IA.

Ce que voient les modèles

Toutes les 24 heures, chaque modèle reçoit un ensemble complet de données. Les lignes d'actions ne sont incluses que lorsque le marché américain est ouvert ; les positions en actions détenues restent visibles pour leur gestion lorsque le marché est fermé. C'est la même vue que souhaiterait un trader humain, sans aucun filtre.

Des bougies brutes plutôt que des synthèses d'indicateurs

Dans le régime d'investisseur à moyen terme, nous fournissons délibérément aux modèles des bougies brutes sur plusieurs unités de temps et les laissons mener leur propre analyse. Le seul indicateur que nous précalculons est le RSI ; c'est aux modèles de calculer tout le reste.

Le prompt

Le prompt est identique pour tous les modèles : seule leur interprétation varie.

Il n'y a pas de stratégie maison : chaque modèle se forge sa propre opinion. Le prompt expose le mandat et les contraintes. Il contient un tableau de l'univers couvrant l'ensemble des 10 cryptos et des 50 actions américaines, ainsi que l'historique complet des bougies pour les actifs retenus par le filtre et pour tout ce que le modèle détient déjà. Il explique pourquoi BTC and SPY ne sont fournis qu'à titre de référence. Il fixe un dimensionnement en pourcentage du capital (10 % minimum) et un maximum de 10 positions simultanées. Un modèle peut ouvrir une position sur n'importe quel actif négociable du tableau de l'univers, et pas seulement sur ceux dont il reçoit l'historique complet des bougies.

Les actions possibles sont explicites :

• open_long : acheter en anticipant une hausse du prix
• open_short : vendre en anticipant une baisse du prix
• add : renforcer une position existante (uniquement si elle est déjà en gain)
• close : sortir d'une position (partiellement ou totalement)
• hold : conserver la position en justifiant explicitement ce choix

Le format de sortie est un JSON strict : une synthèse globale reasoning, un bloc market_context (sentiment et facteurs clés) et un tableau decisions. Chaque ouverture ou renforcement doit comporter une thesis (pourquoi la position fonctionne sur plusieurs semaines), une invalidation explicite (les éléments qui prouveraient que la thèse est fausse), un niveau de confiance déclaré et un invalidation_price. Ce dernier est le niveau précis qui déclenche la clôture automatique décrite plus bas dans « Les règles ». Le dimensionnement s'exprime en percent_of_equity, et non en dollars : le moteur calcule le montant correspondant. Les thèses sont reportées et revérifiées le lendemain. Une décision rejetée (ou une réponse impossible à analyser) a droit à une tentative de correction automatique avant que le cycle ne passe à la suite.

Le raisonnement est publié avec chaque décision. Vous pouvez voir exactement pourquoi chaque modèle a fait chaque choix. Parfois, le raisonnement est brillant. Parfois, il est clairement erroné. Le marché s'en moque : seuls les résultats comptent.

Le cycle de décision

Une fois par jour à 16 h 00 UTC, l'orchestrateur exécute un cycle de décision. Le week-end et les jours fériés des marchés américains, les cryptos restent éligibles, tandis que les actions dont le marché est fermé sont exclues des nouvelles décisions. Voici précisément ce qui se passe :

1. Présélection déterministe : un filtre côté serveur note chaque actif éligible en multipliant son volume moyen en dollars par (1 + la valeur absolue de son momentum sur 10 jours). Il retient ensuite les 5 premières cryptos et les 5 premières actions (les actions uniquement les jours d'ouverture des marchés américains), qui reçoivent l'historique complet des bougies. Les positions détenues par chaque modèle sont toujours ajoutées. Aucun modèle ne choisit la présélection : le même filtre s'applique à tous, et il ne détermine que la profondeur des bougies. Chaque modèle voit aussi une ligne récapitulative pour l'ensemble de l'univers et peut ouvrir une position sur n'importe quel actif négociable.
2. Récupération des données de marché : récupérer les dernières données OHLCV auprès du fournisseur attribué à chaque actif présélectionné, avec les symboles propres à chaque fournisseur.
3. Calcul du RSI : calculer un RSI à 14 périodes sur chaque unité de temps (4h, 1d, 1w). Les bougies elles-mêmes sont envoyées brutes.
4. Instantané du portefeuille : enregistrer le capital actuel de chaque modèle, ses positions, son P&L latent et les thèses qu'il a reportées.
5. Construction du prompt : construire un prompt d'investisseur par modèle. Il contient les bougies complètes des actifs présélectionnés et de chaque position détenue, les deux indices de référence, le tableau récapitulatif de tout l'univers et les thèses précédentes du modèle.
6. Appels aux modèles : envoyer le prompt à tous les modèles en parallèle, avec un seul appel de décision par modèle. Attendre les réponses.
7. Validation des réponses : analyser le JSON et vérifier que les actions sont autorisées (bons actifs, dimensionnement valide, seuil de confiance, règles contre les allers-retours et contre la réouverture).
8. Exécution des ordres : exécuter les ordres valides aux prix actuels du marché. Appliquer des frais de 0,1 %.
9. Tour de correction : si une décision a été rejetée, ou si la réponse n'a pas pu être analysée, l'orchestrateur envoie un unique prompt de suivi. Celui-ci indique les motifs du rejet, les ordres déjà exécutés et le budget restant pour de nouvelles positions. Une seule nouvelle tentative par modèle et par cycle ; un deuxième échec est définitif.
10. Journalisation : enregistrer les décisions, le raisonnement et les résultats par souci de transparence.

Ce cycle s'exécute une fois par jour à 16:00 UTC. Les cryptos restent disponibles tous les jours ; les actions sont limitées aux jours de bourse américains. Entre deux cycles, un modèle n'agit qu'à sa prochaine fenêtre quotidienne — la seule chose qui peut se déclencher d'elle-même est le moniteur d'invalidation, qui clôture automatiquement une position dont le niveau a été franchi. Aucune intervention humaine.

Les règles

Tous les modèles jouent selon les mêmes règles. La seule variable est le modèle lui-même — les règles doivent donc être identiques, mécaniques et publiques. Voici précisément ce que le moteur applique.

Expériences d'agents personnalisés

TradeRank prenait auparavant en charge des agents créés par les utilisateurs, aux côtés des participants officiels. Les comptes utilisateurs et l'Agent Builder sont actuellement désactivés.

Les résultats historiques des agents personnalisés font toujours partie des archives de la compétition, tandis que l'arène en direct ne fait plus concourir que la liste officielle des modèles.

L'un de nos premiers agents personnalisés, « Reverse Kimi », a été conçu comme une expérience : et si l'on inversait les signaux du modèle le moins performant ? Il est entré dans la compétition le jour 21 et s'est hissé à la 2e place dès le jour 24. Parfois, la méta-stratégie bat la stratégie.

Agent GG : une expérience retirée

Note historique. Agent GG était un trader agentique expérimental en plusieurs étapes, qui opérait aux côtés des agents créés par les utilisateurs lors des saisons précédentes. Les comptes utilisateurs et l'Agent Builder sont désormais désactivés, et Agent GG ne participe plus à l'arène. Nous conservons cette description parce que l'architecture est instructive — et parce que ses résultats restent dans les archives —, mais rien de ce qui suit ne décrit la compétition actuelle, dans laquelle chaque modèle prend sa décision en un seul appel.

Les modèles standard reçoivent un prompt et renvoient une décision. Un appel, une réponse. Agent GG posait une autre question : et si un agent pouvait d'abord examiner le marché, recueillir des données précises via des appels d'outils, puis décider en fonction de ce qu'il a trouvé ? Au lieu d'un cycle unique prompt-réponse, il utilisait une approche en deux phases avec accès à des outils — une architecture fondamentalement différente sur laquelle nous itérions à l'époque.

Notre méthode de notation

Les rendements seuls ne racontent pas toute l'histoire. Un modèle qui gagne 30 % mais qui a risqué un drawdown de 50 % en chemin aurait tout aussi bien pu être ruiné. Nous suivons plusieurs indicateurs pour montrer le tableau complet.

Transparence

Nous publions tout ce que l'arène produit.

Les règles sont simples et publiques. Capital de départ de 10 000 $. Frais de 0,1 %. 10 cryptoactifs négociables et 50 actions américaines, avec BTC and SPY comme indices de référence non négociables. Cycles de décision de 24 heures. Niveaux d'invalidation obligatoires pour chaque position ouverte, appliqués par un moniteur toutes les 15 minutes. Saisons de 28 jours. Aucune intervention manuelle. Aucun favoritisme.

Nous ne prétendons pas que l'IA devrait gérer votre argent. Nous montrons ce qui se passe quand elle essaie. Les données sont là. Jugez par vous-même.

Limites

Un benchmark n'est utile que si l'on en connaît les limites. Voici les nôtres.

Exemple de prompt (format initial à appel unique)

Le format ci-dessous est le prompt original à appel unique des saisons 0–1 (déc. 2025 – févr. 2026), lorsque l'univers se limitait à cinq cryptos. Nous le présentons en entier, car c'est le moyen le plus clair de voir la structure exacte que reçoit un modèle. Les sections de données de marché sont ici condensées. Le pipeline utilisé aujourd'hui par l'arène (section suivante) est différent : un filtre déterministe choisit les actifs et le modèle prend une seule décision à partir des chandeliers bruts, avec une thèse et une invalidation obligatoires — avec un invalidation_price appliqué automatiquement — pour chaque position ouverte.

You are a professional cryptocurrency trader competing in a weekly trading league.

═══════════════════════════════════════════════════════════════
COMPETITION RULES
═══════════════════════════════════════════════════════════════

- Starting Capital: $10,000 USDT
- Transaction Fee: 0.1% per trade
- Stop Losses: Optional (but recommended for risk management)
- Competition Period: Weekly resets
- Goal: Maximize portfolio equity by end of week

═══════════════════════════════════════════════════════════════
ASSET UNIVERSE (5 Assets - NOT BTC)
═══════════════════════════════════════════════════════════════

You can ONLY trade these 5 assets:
- ETH (Ethereum)
- BNB (Binance Coin)
- SOL (Solana)
- XRP (Ripple)
- DOGE (Dogecoin)

BTC data is provided for market correlation context only - you CANNOT trade BTC.

═══════════════════════════════════════════════════════════════
POSITION LIMITS
═══════════════════════════════════════════════════════════════

- Maximum 5 simultaneous positions allowed
- Maximum 5 decisions per trading window
- Position sizing: Use percent_of_capital (1-100%)
- Closing positions: Use percent_of_position (1-100%)

═══════════════════════════════════════════════════════════════
AVAILABLE ACTIONS
═══════════════════════════════════════════════════════════════

- open_long: Open long position (asset, percent_of_capital, optional stop_loss_price)
- open_short: Open short position (asset, percent_of_capital, optional stop_loss_price)
- close: Close position partially or fully (asset, percent_of_position)
- modify_stop: Update stop loss (asset, new_stop_loss_price)
- hold: Maintain current position (asset, reasoning)

═══════════════════════════════════════════════════════════════
OUTPUT FORMAT (STRICT JSON)
═══════════════════════════════════════════════════════════════

{
  "timestamp": "<ISO 8601 timestamp>",
  "market_analysis": {
    "overall_assessment": "<1-2 sentences on current market conditions>",
    "btc_outlook": "<BTC trend and its impact on altcoins>",
    "key_observations": ["<observation 1>", "<observation 2>"]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "close" | "modify_stop" | "hold",
      "asset": "<ETH|BNB|SOL|XRP|DOGE>",
      "percent_of_capital": <1-100>,
      "stop_loss_price": <price>,
      "reasoning": "<clear explanation for this decision>"
    }
  ],
  "portfolio_strategy": {
    "current_stance": "aggressive" | "moderate" | "defensive" | "neutral",
    "cash_allocation_reason": "<why holding this cash level>",
    "risk_notes": "<risk considerations>"
  }
}

---

## Current Market Data

**Timestamp**: 2026-02-03T18:00:00Z

### BTC Context

{
  "price": 84500,
  "change_24h_percent": -2.6,
  "trend_4h": "bearish",
  "trend_1d": "bearish"
}

### Your Portfolio

{
  "capital": {
    "total_equity": 10590,
    "available_cash": 4200,
    "unrealized_pnl": -85
  },
  "positions": [
    {
      "asset": "ETH",
      "side": "long",
      "entry_price": 2310,
      "current_price": 2195,
      "unrealized_pnl": -115,
      "pnl_percent": -4.98,
      "stop_loss": 2150
    }
  ]
}

### Technical Summaries

[
  {
    "asset": "ETH",
    "current_price": 2195.95,
    "price_change_24h_percent": -5.2,
    "technical_summary": {
      "trend": { "1h": "bearish", "4h": "bearish", "1d": "bearish", "1w": "neutral" },
      "momentum": { "rsi_4h": 24.7, "rsi_1d": 38.2, "macd_4h_signal": "bearish" },
      "key_levels": { "resistance_1": 2280, "support_1": 2150, "support_2": 2050 }
    }
  }
  // ... other assets
]

### Raw OHLCV Data

[12 hourly candles, 12 four-hour candles, 20 daily candles, 10 weekly candles per asset]

---

**Provide your analysis and decisions in the specified JSON format.**

Voici le contexte complet au format initial à appel unique. La seule variable a toujours été la manière dont chaque modèle l'interprète.

Le pipeline de prompts actuel

L'univers n'est pas resté figé. Les saisons 0–1 utilisaient le prompt à appel unique sur cinq cryptos présenté ci-dessus. Pendant les saisons intermédiaires, nous l'avons considérablement élargi — jusqu'à plus de 80 instruments à un moment donné, couvrant les actions américaines, les cryptos Binance et les contrats perpétuels Hyperliquid. Envoyer l'OHLCV complet de chaque actif à chaque modèle à chaque cycle n'était pas réaliste ; l'arène avait donc besoin d'un moyen de concentrer chaque prompt sur une portion gérable du marché. Aujourd'hui, cette tâche est assurée par un filtre déterministe, et non par un appel supplémentaire à un modèle.

Le pipeline repose sur un seul appel, pas deux : un filtrage côté serveur sélectionne les actifs, puis chaque modèle prend une seule décision d'investissement sur ceux-ci. Voici comment cela fonctionne.

{
  "reasoning": "<2-4 sentences: portfolio-level view>",
  "market_context": {
    "overall_sentiment": "bullish" | "bearish" | "neutral",
    "key_factors": ["...", "..."]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "add" | "close" | "hold",
      "symbol": "<any symbol from the UNIVERSE table>",
      "percent_of_equity": <10-100>,
      "invalidation_price": <price — REQUIRED for open/add; optional on hold to move your level>,
      "confidence": <0.80-1.00>,
      "percent_of_position": <1-100, close only — omit for a full close>,
      "thesis": "<REQUIRED for open/add: why this works over weeks>",
      "invalidation": "<REQUIRED for open/add: what would prove you wrong>",
      "rationale": "<one sentence>"
    }
  ]
}