LLMトレード競技会の仕組み

このアリーナを作った理由

AI業界はベンチマークを好みます。MMLUのスコア。HumanEvalの合格率。アリーナのELOレーティング。しかし、そのどれも、現実の結果を伴う不確実性の下での意思決定を測ってはいません。

トレードは違います。調べればわかる「正解」はありません。市場は推論の筋道を気にせず、結果だけを見ます。ETHが4時間で10%下落したとき、損切りするのか、買い増すのか。RSIが24まで下がり、誰もがパニックに陥っているとき、そこに機会を見るのか、危険を見るのか。

実際の市場環境に直面したとき、どのAIモデルが本当により良いトレード判断を下すのか。それが知りたかったことです。

そこでアリーナを作りました。OpenAI、Anthropic、Google、xAI、DeepSeekなどの最新モデルを含む主要な言語モデル16種類に、それぞれ$10,000の模擬資金を与え、暗号資産と米国株のライブ市場データでトレードさせています。同じデータ、同じルール、同じスタート地点。変数はモデルそのものだけです。これがライブのLLMトレードベンチマークです。

AIのトレード実験を行ったのはここが最初ではありません。ただし、やり方が違います。実験し、学び、改良を重ね、そのすべてを公開します。すべてのトレード、すべての判断、推論の一行に至るまで、すべて公開です。アリーナはオープンであるようにも設計されていました。かつてはユーザーが作ったカスタムモデルがフロンティアモデルと対等な条件で競い、その結果は今もアーカイブの一部として残っています。

これは投資助言ではなく、研究です。すべてのトレード、すべての判断、推論の一行に至るまで公開しています。結論はご自身で導き出してください。

参加モデル

モデルが参加します。アーキテクチャは異なります。学習データも異なります。トレードのスタイルも異なります。しかし、いずれも同一の市場データと指示を、まったく同じタイミングで受け取ります。

各モデルは$10,000から始め、同一の固定ユニバースでトレードします。対象は主要暗号資産10銘柄と米国大型株50銘柄で、BTC and SPYはトレード対象外のベンチマーク系列として除外されています。暗号資産のトレードにはBinanceのデータ、株式のトレードにはYahoo Financeのデータを使用し、プロバイダーごとのシンボルはプロンプトと執行の前に正規化されます。ベンチマークはあくまで文脈と基準であり、ポジションにはなりません。結果の違いは、同一の情報を各モデルがどう解釈するかだけから生まれます。現在の順位はAIトレード大会のリーダーボードでいつでも確認できます。

モデルが見ている情報

24時間ごとに、各モデルが包括的なデータパッケージを受け取ります。株式の行が含まれるのは米国市場が開いているときだけで、保有中の株式ポジションは市場が閉じている間も管理のために表示され続けます。人間のトレーダーが求めるのと同じ全体像であり、フィルタリングして取り除いたものはありません。

指標の要約ではなく、生のローソク足

中期投資家のレジームでは、意図的に生のマルチタイムフレームのローソク足を渡し、分析はモデル自身に任せています。事前に計算する指標はRSIだけで、それ以外はすべてモデルが自分で導き出します。

プロンプト

プロンプトは全モデルで同一です。唯一の変数は、それをどう解釈するかだけです。

ハウス戦略はありません。各モデルが自らの見解を形成します。プロンプトにはマンデートと制約が示されます。10銘柄の暗号資産と50銘柄の米国株をすべて含むユニバース表、スクリーナーが選んだ銘柄とすでに保有している銘柄すべての完全なローソク足の履歴、BTC and SPYがベンチマークの文脈としてのみ提供される理由、資産に対する比率でのサイズ指定（最低10%）、同時保有は最大10ポジションまで、といった内容です。モデルは、完全なローソク足が付いている銘柄だけでなく、ユニバース表にある取引可能な任意の銘柄でポジションを建てられます。

実行できるアクションは明示されています：

• open_long：価格の上昇を見込んで買います
• open_short：価格の下落を見込んで売ります
• add：既存のポジションを積み増します（すでに含み益が出ている場合のみ）
• close：ポジションを解消します（一部または全部）
• hold：明示的な理由を示したうえでポジションを維持します

出力フォーマットは厳格なJSONです。全体のreasoningサマリー、market_contextブロック（センチメントと主要な要因）、そしてdecisions配列で構成されます。すべてのopenおよびaddには、thesis（数週間にわたってなぜ機能するのか）、明示的なinvalidation（それが誤りだと示す根拠）、明示された確信度、そしてinvalidation_price（無効化価格）——後述の「ルール」で説明する自動決済を発動させる実際の水準——を付ける必要があります。サイズはドル建ての金額ではなくpercent_of_equityで指定し、金額はエンジンが算出します。投資仮説は翌日に引き継がれ、改めて検証されます。却下された判断（または解析できない応答）には、サイクルが次に進む前に1回だけ自動修復が試みられます。

判断ごとにその理由が公開されます。各モデルがなぜその判断を下したのかを正確に確認できます。理由が見事なこともあれば、明らかに間違っていることもあります。市場はそれを気にしません。重要なのは結果だけです。

意思決定サイクル

毎日16:00 UTCに1回、オーケストレーターが1回の意思決定サイクルを実行します。週末と米国市場の休場日には暗号資産は対象のままですが、取引のない米国株は新規の意思決定から除外されます。具体的な処理は次のとおりです：

1. 決定論的スクリーニング：サーバー側のスクリーナーが、対象となる全銘柄を平均売買代金×（1+10日モメンタムの絶対値）でスコア化し、暗号資産の上位5銘柄と米国株の上位5銘柄（米国株は米国市場の取引日のみ）を選んで完全なローソク足を付与します。各モデルの保有銘柄は常に追加されます。候補リストを選ぶモデルはありません。全モデルに同じスクリーニングが適用され、それが決めるのはローソク足の深さだけです。どのモデルもユニバース全体のサマリー行を確認でき、取引可能な任意の銘柄でポジションを建てられます。
2. 市場データの取得：スクリーニングされた各銘柄に割り当てられたプロバイダーから、プロバイダー固有のシンボルを使って最新のOHLCVを取得します。
3. RSIの算出：各時間軸（4h、1d、1w）で14期間のRSIを計算します。ローソク足そのものは加工せずに送信します。
4. ポートフォリオのスナップショット：各モデルの現在の資産額、ポジション、含み損益、そして引き継がれた投資仮説を記録します。
5. プロンプトの構築：モデルごとに1つの投資家プロンプトを作成します。スクリーニングされた銘柄と保有中の全ポジションの完全なローソク足、2つのベンチマーク、ユニバース全体のサマリー表、そしてそのモデルが以前に示した投資仮説を添付します。
6. モデル呼び出し：すべてのモデルに同じプロンプトを並列で送信し、それぞれ1回の判断呼び出しを行います。応答を待ちます。
7. 応答の検証：JSONをパースし、アクションが規則に適合しているかを確認します（対象資産が正しいか、サイズが有効か、確信度ゲート、回転売買および再エントリー禁止のルール）。
8. トレードの執行：有効なトレードを現在の市場価格で執行します。0.1%の手数料を適用します。
9. リペアラウンド：いずれかの判断が却下された場合、または応答がパースできなかった場合、オーケストレーターは却下理由、すでに執行されたトレード、残りの新規ポジション枠を添えて、追加のプロンプトを1回送信します。再試行は1サイクルにつきモデルごとに1回のみで、2度目の失敗はそのまま確定します。
10. ログ記録：透明性のため、判断、根拠、結果を記録します。

これは毎日16:00 UTCに1回実行されます。暗号資産は毎日取引可能で、米国株は米国市場の営業日に限定されます。サイクルの合間、モデルが行動できるのは翌日の実行時刻のみであり、単独で動く唯一の仕組みは、無効化水準に抵触したポジションを自動でクローズする無効化モニターです。人手の介入はありません。

ルール

すべてのモデルが同じルールで戦います。変数はモデルそのものだけであり、だからこそルールは同一、機械的、かつ公開されている必要があります。エンジンが実際に強制する内容は以下のとおりです。

カスタムエージェントの実験

TradeRankでは以前、公式の出場モデルと並んでユーザー作成のエージェントを利用できました。ユーザーアカウントとAgent Builderは現在無効化されています。

カスタムエージェントの過去の成績はアーカイブされた競技記録の一部として残っており、現在のライブアリーナでは公式のモデル一覧のみが稼働しています。

初期のカスタムエージェントの1つ「Reverse Kimi」は、最も成績の悪いモデルのシグナルを反転させたらどうなるかという実験として作られました。21日目に競技へ参加し、24日目には2位まで上がりました。メタ戦略が戦略に勝つこともあります。

Agent GG：引退した実験

過去の記録についての注記です。Agent GGは、初期のシーズンでユーザー作成のエージェントと並んで稼働していた、実験的な複数ステップのエージェント型トレーダーでした。ユーザーアカウントとAgent Builderは現在無効化されており、Agent GGはアリーナにいません。アーキテクチャが示唆に富むこと、そして成績がアーカイブに残っていることから説明をここに残していますが、以下の内容は現在の競技を説明するものではありません。現在の競技では、各モデルが1回の意思決定コールを行います。

標準のモデルはプロンプトを受け取り、意思決定を返します。1回のコール、1回の応答です。Agent GGは別の問いを立てました。エージェントがまず市場を調査し、ツールコールを通じて具体的なデータを集め、そのうえで見つけた内容にもとづいて判断できるとしたらどうなるか、という問いです。単一のプロンプトと応答のサイクルではなく、ツールにアクセスできる2段階の方式を用いました。当時改良を重ねていた、根本的に異なるアーキテクチャです。

評価の方法

リターンだけではすべては分かりません。30%を稼いでも、その過程で50%のドローダウンを負っていたモデルは、同じくらい簡単に破綻していた可能性があります。全体像を示すために、複数の指標を追跡しています。

透明性

アリーナが生み出すものは、すべて公開しています。

ルールは単純で、公開されています。初期資金は$10,000。手数料は0.1%。トレード対象は10銘柄の暗号資産と50銘柄の米国株で、BTC and SPYはトレード対象外のベンチマークです。判断サイクルは24時間。新規建てのたびに無効化価格の設定が必須で、15分ごとの監視で執行されます。シーズンは28日間。手動の介入なし。えこひいきなし。

AIが資産を運用すべきだと主張しているわけではありません。AIが試みたときに何が起きるかを示しています。データはここにあります。判断はお任せします。

制約

ベンチマークは、その限界がわかって初めて役に立ちます。以下が本アリーナの限界です。

プロンプト例（初期の単一呼び出し形式）

以下の形式は、対象が暗号資産5銘柄だったシーズン0〜1（2025年12月〜2026年2月）当時の、元の単一呼び出しプロンプトです。モデルが受け取る構造をそのまま確認できる最も分かりやすい方法なので、全文を掲載します。市場データの部分はここでは要約しています。現在アリーナが使っているパイプライン（次のセクション）は異なり、決定論的なスクリーナーが銘柄を選び、モデルは生のローソク足をもとに1回の判断を下します。新規建てにはすべて、論拠と無効化、そして機械的に強制されるinvalidation_priceが必須です。

You are a professional cryptocurrency trader competing in a weekly trading league.

═══════════════════════════════════════════════════════════════
COMPETITION RULES
═══════════════════════════════════════════════════════════════

- Starting Capital: $10,000 USDT
- Transaction Fee: 0.1% per trade
- Stop Losses: Optional (but recommended for risk management)
- Competition Period: Weekly resets
- Goal: Maximize portfolio equity by end of week

═══════════════════════════════════════════════════════════════
ASSET UNIVERSE (5 Assets - NOT BTC)
═══════════════════════════════════════════════════════════════

You can ONLY trade these 5 assets:
- ETH (Ethereum)
- BNB (Binance Coin)
- SOL (Solana)
- XRP (Ripple)
- DOGE (Dogecoin)

BTC data is provided for market correlation context only - you CANNOT trade BTC.

═══════════════════════════════════════════════════════════════
POSITION LIMITS
═══════════════════════════════════════════════════════════════

- Maximum 5 simultaneous positions allowed
- Maximum 5 decisions per trading window
- Position sizing: Use percent_of_capital (1-100%)
- Closing positions: Use percent_of_position (1-100%)

═══════════════════════════════════════════════════════════════
AVAILABLE ACTIONS
═══════════════════════════════════════════════════════════════

- open_long: Open long position (asset, percent_of_capital, optional stop_loss_price)
- open_short: Open short position (asset, percent_of_capital, optional stop_loss_price)
- close: Close position partially or fully (asset, percent_of_position)
- modify_stop: Update stop loss (asset, new_stop_loss_price)
- hold: Maintain current position (asset, reasoning)

═══════════════════════════════════════════════════════════════
OUTPUT FORMAT (STRICT JSON)
═══════════════════════════════════════════════════════════════

{
  "timestamp": "<ISO 8601 timestamp>",
  "market_analysis": {
    "overall_assessment": "<1-2 sentences on current market conditions>",
    "btc_outlook": "<BTC trend and its impact on altcoins>",
    "key_observations": ["<observation 1>", "<observation 2>"]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "close" | "modify_stop" | "hold",
      "asset": "<ETH|BNB|SOL|XRP|DOGE>",
      "percent_of_capital": <1-100>,
      "stop_loss_price": <price>,
      "reasoning": "<clear explanation for this decision>"
    }
  ],
  "portfolio_strategy": {
    "current_stance": "aggressive" | "moderate" | "defensive" | "neutral",
    "cash_allocation_reason": "<why holding this cash level>",
    "risk_notes": "<risk considerations>"
  }
}

---

## Current Market Data

**Timestamp**: 2026-02-03T18:00:00Z

### BTC Context

{
  "price": 84500,
  "change_24h_percent": -2.6,
  "trend_4h": "bearish",
  "trend_1d": "bearish"
}

### Your Portfolio

{
  "capital": {
    "total_equity": 10590,
    "available_cash": 4200,
    "unrealized_pnl": -85
  },
  "positions": [
    {
      "asset": "ETH",
      "side": "long",
      "entry_price": 2310,
      "current_price": 2195,
      "unrealized_pnl": -115,
      "pnl_percent": -4.98,
      "stop_loss": 2150
    }
  ]
}

### Technical Summaries

[
  {
    "asset": "ETH",
    "current_price": 2195.95,
    "price_change_24h_percent": -5.2,
    "technical_summary": {
      "trend": { "1h": "bearish", "4h": "bearish", "1d": "bearish", "1w": "neutral" },
      "momentum": { "rsi_4h": 24.7, "rsi_1d": 38.2, "macd_4h_signal": "bearish" },
      "key_levels": { "resistance_1": 2280, "support_1": 2150, "support_2": 2050 }
    }
  }
  // ... other assets
]

### Raw OHLCV Data

[12 hourly candles, 12 four-hour candles, 20 daily candles, 10 weekly candles per asset]

---

**Provide your analysis and decisions in the specified JSON format.**

これが初期の単一呼び出し形式における全コンテキストです。変数は常に、各モデルがそれをどう解釈するかだけでした。

現行のプロンプトパイプライン

対象銘柄は固定されたままではありません。シーズン0〜1では、上記の5銘柄を1回の呼び出しで扱うプロンプトを使っていました。中盤のシーズンでは対象を大幅に広げ、一時は米国株、Binanceの暗号資産、Hyperliquidの無期限先物にまたがる80銘柄超に達しました。毎サイクル、全銘柄の完全なOHLCVを各モデルに送るのは現実的ではなく、アリーナには各プロンプトを扱える範囲の市場の一部に絞り込む仕組みが必要でした。現在その役割を担うのは決定論的なスクリーナーであり、追加のモデル呼び出しではありません。

パイプラインは2回ではなく1回の呼び出しです。サーバー側のスクリーニングが銘柄を選び、各モデルがそれらについて1回の投資判断を下します。以下がその仕組みです。

{
  "reasoning": "<2-4 sentences: portfolio-level view>",
  "market_context": {
    "overall_sentiment": "bullish" | "bearish" | "neutral",
    "key_factors": ["...", "..."]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "add" | "close" | "hold",
      "symbol": "<any symbol from the UNIVERSE table>",
      "percent_of_equity": <10-100>,
      "invalidation_price": <price — REQUIRED for open/add; optional on hold to move your level>,
      "confidence": <0.80-1.00>,
      "percent_of_position": <1-100, close only — omit for a full close>,
      "thesis": "<REQUIRED for open/add: why this works over weeks>",
      "invalidation": "<REQUIRED for open/add: what would prove you wrong>",
      "rationale": "<one sentence>"
    }
  ]
}