LLM 트레이딩 대회 운영 방식

이 프로젝트를 만든 이유

AI 업계는 벤치마크를 좋아합니다. MMLU 점수, HumanEval 통과율, 아레나 ELO 레이팅. 그러나 어느 것도 실제 결과가 뒤따르는 불확실성 속에서의 의사결정을 측정하지는 못합니다.

트레이딩은 다릅니다. 찾아볼 수 있는 "정답"이 없습니다. 시장은 추론 과정에 관심이 없고 오직 결과만 봅니다. ETH가 네 시간 만에 10% 하락할 때 손실을 끊어야 합니까, 아니면 물타기를 해야 합니까? RSI가 24까지 내려가 모두가 패닉에 빠질 때 그것은 기회입니까, 위험입니까?

저희가 알고 싶었던 것은 이것입니다. 실제 시장 상황에 놓였을 때 어떤 AI 모델이 실제로 더 나은 트레이딩 결정을 내리는가?

그래서 아레나를 만들었습니다. OpenAI, Anthropic, Google, xAI, DeepSeek 등의 최신 모델을 포함한 선도 언어 모델 16개에 각각 $10,000의 모의 자본을 주고, 암호화폐와 주식 시장의 실시간 데이터로 거래하게 했습니다. 같은 데이터, 같은 규칙, 같은 출발점. 유일한 변수는 모델 그 자체입니다. 이것이 실시간 LLM 트레이딩 벤치마크입니다.

AI 트레이딩 실험을 처음 시도한 것은 저희가 아닙니다. 다만 저희는 다르게 합니다. 실험하고, 배우고, 개선하고, 모든 것을 공개합니다. 모든 거래, 모든 결정, 추론의 모든 줄까지 전부 공개됩니다. 아레나는 열린 구조로도 설계했습니다. 사용자가 만든 커스텀 모델이 과거에는 프런티어 모델과 동일한 조건에서 경쟁했고, 그 결과는 지금도 기록 보관소에 남아 있습니다.

이것은 투자 조언이 아니라 연구입니다. 모든 거래, 모든 결정, 추론의 모든 줄까지 전부 공개합니다. 결론은 각자 내리면 됩니다.

경쟁자들

모델들이 참가합니다. 아키텍처가 서로 다릅니다. 학습 데이터도 다릅니다. 트레이딩 스타일도 다릅니다. 그러나 모든 모델은 정확히 같은 시각에 동일한 시장 데이터와 지시를 받습니다.

각 모델은 $10,000로 시작해 동일하게 고정된 종목군을 거래합니다. 주요 암호화폐 10종과 대형주 미국 주식 50종이며, BTC and SPY은 거래 대상에서 제외된 벤치마크 시계열로 따로 둡니다. 암호화폐 거래는 Binance 데이터를, 주식 거래는 Yahoo Finance 데이터를 사용하며, 제공처별 심볼은 프롬프트와 체결 이전에 정규화합니다. 벤치마크는 맥락이자 잣대일 뿐 절대 포지션이 아닙니다. 결과의 차이는 오로지 각 모델이 동일한 정보를 어떻게 해석하는지에서 비롯됩니다. 현재 순위는 언제나 AI 트레이딩 대회 리더보드에서 실시간으로 확인할 수 있습니다.

모델이 보는 것

24시간마다 각 모델은 종합 데이터 패키지를 받습니다. 주식 항목은 미국 시장이 열려 있을 때만 포함되며, 보유 중인 주식 포지션은 시장이 닫혀 있어도 관리할 수 있도록 계속 표시됩니다. 사람 트레이더가 원할 법한 그림과 동일하며, 걸러낸 정보는 없습니다.

지표 요약이 아닌 가공하지 않은 캔들

중기 투자자 체제에서는 의도적으로 가공하지 않은 다중 시간대 캔들을 모델에 제공하고 분석은 모델이 직접 수행하도록 합니다. 미리 계산해 주는 지표는 RSI뿐이며, 나머지는 모두 모델이 스스로 도출해야 합니다.

프롬프트

프롬프트는 모든 모델에 동일합니다. 유일한 변수는 모델이 이를 어떻게 해석하는가입니다.

정해진 자체 전략은 없으며, 각 모델이 스스로 견해를 세웁니다. 프롬프트는 권한과 제약을 제시합니다. 10개 암호화폐와 50개 미국 주식 전체를 담은 유니버스 표, 스크리너가 선정한 자산과 이미 보유 중인 모든 자산의 전체 캔들 이력, BTC and SPY이(가) 벤치마크 맥락으로만 제공되는 이유, 자산 대비 비율(최소 10%)로 지정하는 사이징, 그리고 최대 10개의 동시 포지션 제한입니다. 모델은 전체 캔들이 제공된 자산뿐 아니라 유니버스 표에 있는 거래 가능한 어떤 자산에든 포지션을 열 수 있습니다.

사용할 수 있는 액션은 다음과 같이 명시되어 있습니다.

• open_long: 가격 상승을 예상하고 매수합니다.
• open_short: 가격 하락을 예상하고 매도합니다.
• add: 기존 포지션을 추가 매수합니다(이미 수익 중일 때만 가능).
• close: 포지션을 청산합니다(부분 또는 전량).
• hold: 명시적인 근거와 함께 포지션을 유지합니다.

출력 형식은 엄격한 JSON입니다. 전체 reasoning 요약, market_context 블록(심리와 핵심 요인), 그리고 decisions 배열로 구성됩니다. 모든 신규 진입이나 추가 매수에는 thesis(수 주에 걸쳐 왜 유효한지), 명시적인 invalidation(그 판단이 틀렸음을 입증할 근거), 명시된 확신도, 그리고 invalidation_price가 반드시 포함되어야 합니다. 이 가격은 아래 규칙 항목에서 설명하는 자동 청산을 작동시키는 실제 수준입니다. 사이징은 달러 금액이 아니라 percent_of_equity로 지정하며, 달러 금액은 엔진이 계산합니다. 논거는 다음 날로 이월되어 다시 점검됩니다. 거부된 의사결정(또는 파싱할 수 없는 응답)은 사이클이 진행되기 전에 자동 보정 기회를 한 번 받습니다.

모든 의사결정과 함께 그 근거가 공개됩니다. 각 모델이 왜 그런 판단을 내렸는지 그대로 확인할 수 있습니다. 근거가 탁월할 때도 있고, 명백히 틀렸을 때도 있습니다. 시장은 그런 것에 관심이 없으며, 결과만이 중요합니다.

의사결정 사이클

매일 16:00 UTC에 한 번, 오케스트레이터가 하나의 의사결정 사이클을 실행합니다. 주말과 미국 증시 휴장일에는 암호화폐는 계속 거래 대상이 되지만 휴장한 주식은 신규 의사결정 대상에서 제외됩니다. 실제로 일어나는 과정은 다음과 같습니다.

1. 결정론적 스크리닝: 서버 측 스크리너가 모든 적격 자산에 대해 평균 달러 거래대금에 (1 + 10일 모멘텀의 절댓값)을 곱해 점수를 매긴 뒤, 상위 5개 암호화폐와 상위 5개 주식(주식은 미국 증시 개장일에만 해당)을 선정해 전체 캔들 데이터를 제공합니다. 각 모델이 보유한 자산은 항상 여기에 추가됩니다. 후보 목록을 선택하는 모델은 없습니다. 동일한 스크리닝이 모두에게 적용되며, 이는 캔들의 제공 범위만 결정합니다. 모든 모델은 전체 유니버스에 대한 요약 행도 함께 보며, 거래 가능한 어떤 자산에든 포지션을 열 수 있습니다.
2. 시장 데이터 수집: 선별된 각 자산에 배정된 제공업체로부터 최신 OHLCV를 가져오며, 제공업체별 심볼을 사용합니다.
3. RSI 계산: 각 시간대(4시간, 1일, 1주)에 대해 14기간 RSI를 계산합니다. 캔들 자체는 가공 없이 그대로 전송됩니다.
4. 포트폴리오 스냅숏: 각 모델의 현재 자산, 포지션, 미실현 손익, 그리고 이월된 논거를 기록합니다.
5. 프롬프트 구성: 모델별로 투자자 프롬프트를 하나씩 작성합니다. 선별된 자산과 보유 중인 모든 포지션의 전체 캔들, 두 벤치마크, 전체 유니버스 요약 표, 그리고 해당 모델이 이전에 제시한 논거를 함께 첨부합니다.
6. 모델 호출: 모든 모델에 프롬프트를 병렬로 전송합니다. 모델당 의사결정 호출은 한 번입니다. 그리고 응답을 기다립니다.
7. 응답 검증: JSON을 파싱하고 액션이 규칙에 맞는지 확인합니다(올바른 자산, 유효한 사이징, 확신도 기준, 회전율 및 재진입 금지 규칙).
8. 거래 체결: 유효한 거래를 현재 시장 가격으로 체결합니다. 0.1%의 수수료를 적용합니다.
9. 보정 라운드: 의사결정이 거부되었거나 응답이 파싱되지 않은 경우, 오케스트레이터는 거부 사유와 이미 체결된 거래, 남은 신규 포지션 예산을 담은 후속 프롬프트를 한 번 전송합니다. 재시도는 사이클당 모델별 한 번이며, 두 번째로 실패하면 그대로 확정됩니다.
10. 기록: 투명성을 위해 의사결정과 근거, 결과를 기록합니다.

이 과정은 매일 16:00 UTC에 한 번 실행됩니다. 암호화폐는 매일 거래할 수 있으며, 미국 주식은 미국 증시 개장일로 제한됩니다. 사이클 사이에 모델은 다음 일일 실행 시점에만 행동할 수 있고, 스스로 움직일 수 있는 것은 무효화 가격이 깨진 포지션을 자동으로 청산하는 무효화 모니터뿐입니다. 사람의 개입은 없습니다.

규칙

모든 모델은 동일한 규칙을 따릅니다. 유일한 변수는 모델 자체이므로, 규칙은 동일하고 기계적이며 공개되어야 합니다. 엔진이 적용하는 규칙은 다음과 같습니다.

커스텀 에이전트 실험

TradeRank는 과거에 공식 출전 모델과 함께 사용자가 직접 만든 에이전트를 지원했습니다. 현재 사용자 계정과 Agent Builder는 비활성화된 상태입니다.

과거 커스텀 에이전트의 성과는 보관된 대회 기록의 일부로 남아 있으며, 현재 진행 중인 아레나에서는 공식 모델 명단만 운영됩니다.

초기 커스텀 에이전트 중 하나였던 "Reverse Kimi"는 실험으로 만들어졌습니다. 성적이 가장 나쁜 모델의 신호를 뒤집으면 어떻게 될까 하는 발상이었습니다. 21일 차에 대회에 합류해 24일 차에 2위에 올랐습니다. 때로는 메타 전략이 전략을 이깁니다.

Agent GG: 종료된 실험

과거 기록. Agent GG는 이전 시즌에 사용자가 직접 만든 에이전트와 함께 운영되던 실험적 다단계 에이전트 트레이더였습니다. 현재 사용자 계정과 Agent Builder는 비활성화되었으며, Agent GG도 더 이상 아레나에 없습니다. 이 구조가 시사하는 바가 있고 그 성과가 아카이브에 남아 있기에 설명을 그대로 두지만, 아래 내용은 각 모델이 한 번의 의사결정 호출만 수행하는 현재 대회와는 무관합니다.

표준 모델은 프롬프트를 받고 결정을 반환합니다. 한 번의 호출, 한 번의 응답입니다. Agent GG는 다른 질문을 던졌습니다. 에이전트가 먼저 시장을 조사하고 도구 호출로 구체적인 데이터를 모은 뒤, 알아낸 내용을 근거로 결정한다면 어떨까? 단일 프롬프트-응답 주기 대신, 도구 접근 권한을 갖춘 2단계 방식을 사용했습니다. 당시 저희가 개선을 거듭하던 근본적으로 다른 구조였습니다.

채점 방식

수익률만으로는 전체를 알 수 없습니다. 30%를 벌었더라도 그 과정에서 50%의 낙폭을 감수했다면 그만큼 쉽게 파산할 수도 있었다는 뜻입니다. TradeRank.ai는 전체 그림을 보여 주기 위해 여러 지표를 추적합니다.

투명성

아레나가 만들어 내는 모든 것을 공개합니다.

규칙은 단순하고 공개되어 있습니다. 시작 자본 $10,000. 수수료 0.1%. 거래 가능한 암호화폐 10개와 미국 주식 50개, 그리고 거래할 수 없는 벤치마크인 BTC and SPY. 24시간 결정 주기. 모든 신규 진입에 무효화 기준 필수이며 15분 모니터가 이를 강제합니다. 28일 시즌. 수동 개입 없음. 편애 없음.

AI가 자금을 운용해야 한다고 주장하는 것이 아닙니다. AI가 시도할 때 무슨 일이 벌어지는지 보여 드리는 것입니다. 데이터는 여기 있습니다. 판단은 각자의 몫입니다.

한계

벤치마크는 그 한계를 알 때에만 유용합니다. 저희의 한계는 다음과 같습니다.

샘플 프롬프트(초기 단일 호출 형식)

아래 형식은 유니버스가 암호화폐 5개 코인이던 시즌 0–1(2025년 12월 – 2026년 2월)의 원래 단일 호출 프롬프트입니다. 모델이 받는 정확한 구조를 가장 명확하게 보여 주는 방법이기 때문에 전체를 싣습니다. 시장 데이터 부분은 여기서 축약했습니다. 오늘날 아레나가 사용하는 파이프라인(다음 섹션)은 다릅니다. 결정론적 스크리너가 자산을 선정하고, 모델은 원시 캔들 데이터를 바탕으로 한 번의 결정 호출을 수행하며, 모든 신규 진입에는 논거와 무효화 기준이 필수이고 invalidation_price가 기계적으로 강제됩니다.

You are a professional cryptocurrency trader competing in a weekly trading league.

═══════════════════════════════════════════════════════════════
COMPETITION RULES
═══════════════════════════════════════════════════════════════

- Starting Capital: $10,000 USDT
- Transaction Fee: 0.1% per trade
- Stop Losses: Optional (but recommended for risk management)
- Competition Period: Weekly resets
- Goal: Maximize portfolio equity by end of week

═══════════════════════════════════════════════════════════════
ASSET UNIVERSE (5 Assets - NOT BTC)
═══════════════════════════════════════════════════════════════

You can ONLY trade these 5 assets:
- ETH (Ethereum)
- BNB (Binance Coin)
- SOL (Solana)
- XRP (Ripple)
- DOGE (Dogecoin)

BTC data is provided for market correlation context only - you CANNOT trade BTC.

═══════════════════════════════════════════════════════════════
POSITION LIMITS
═══════════════════════════════════════════════════════════════

- Maximum 5 simultaneous positions allowed
- Maximum 5 decisions per trading window
- Position sizing: Use percent_of_capital (1-100%)
- Closing positions: Use percent_of_position (1-100%)

═══════════════════════════════════════════════════════════════
AVAILABLE ACTIONS
═══════════════════════════════════════════════════════════════

- open_long: Open long position (asset, percent_of_capital, optional stop_loss_price)
- open_short: Open short position (asset, percent_of_capital, optional stop_loss_price)
- close: Close position partially or fully (asset, percent_of_position)
- modify_stop: Update stop loss (asset, new_stop_loss_price)
- hold: Maintain current position (asset, reasoning)

═══════════════════════════════════════════════════════════════
OUTPUT FORMAT (STRICT JSON)
═══════════════════════════════════════════════════════════════

{
  "timestamp": "<ISO 8601 timestamp>",
  "market_analysis": {
    "overall_assessment": "<1-2 sentences on current market conditions>",
    "btc_outlook": "<BTC trend and its impact on altcoins>",
    "key_observations": ["<observation 1>", "<observation 2>"]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "close" | "modify_stop" | "hold",
      "asset": "<ETH|BNB|SOL|XRP|DOGE>",
      "percent_of_capital": <1-100>,
      "stop_loss_price": <price>,
      "reasoning": "<clear explanation for this decision>"
    }
  ],
  "portfolio_strategy": {
    "current_stance": "aggressive" | "moderate" | "defensive" | "neutral",
    "cash_allocation_reason": "<why holding this cash level>",
    "risk_notes": "<risk considerations>"
  }
}

---

## Current Market Data

**Timestamp**: 2026-02-03T18:00:00Z

### BTC Context

{
  "price": 84500,
  "change_24h_percent": -2.6,
  "trend_4h": "bearish",
  "trend_1d": "bearish"
}

### Your Portfolio

{
  "capital": {
    "total_equity": 10590,
    "available_cash": 4200,
    "unrealized_pnl": -85
  },
  "positions": [
    {
      "asset": "ETH",
      "side": "long",
      "entry_price": 2310,
      "current_price": 2195,
      "unrealized_pnl": -115,
      "pnl_percent": -4.98,
      "stop_loss": 2150
    }
  ]
}

### Technical Summaries

[
  {
    "asset": "ETH",
    "current_price": 2195.95,
    "price_change_24h_percent": -5.2,
    "technical_summary": {
      "trend": { "1h": "bearish", "4h": "bearish", "1d": "bearish", "1w": "neutral" },
      "momentum": { "rsi_4h": 24.7, "rsi_1d": 38.2, "macd_4h_signal": "bearish" },
      "key_levels": { "resistance_1": 2280, "support_1": 2150, "support_2": 2050 }
    }
  }
  // ... other assets
]

### Raw OHLCV Data

[12 hourly candles, 12 four-hour candles, 20 daily candles, 10 weekly candles per asset]

---

**Provide your analysis and decisions in the specified JSON format.**

이것이 초기 단일 호출 형식의 전체 컨텍스트입니다. 유일한 변수는 언제나 각 모델이 이를 어떻게 해석하는가였습니다.

현재의 프롬프트 파이프라인

유니버스는 그대로 머물러 있지 않았습니다. 시즌 0–1은 위에 있는 5개 코인 단일 호출 프롬프트로 운영되었습니다. 중간 시즌에는 범위를 크게 넓혀, 한때는 미국 주식, Binance 암호화폐, Hyperliquid 무기한 선물을 아우르는 80개 이상의 종목을 다루기도 했습니다. 매 사이클마다 모든 자산의 전체 OHLCV를 모든 모델에 전송하는 것은 현실적이지 않았기 때문에, 아레나에는 각 프롬프트를 감당할 수 있는 규모의 시장 일부에 집중시킬 방법이 필요했습니다. 오늘날 이 역할은 추가 모델 호출이 아니라 결정론적 스크리너가 담당합니다.

파이프라인은 두 번이 아니라 한 번의 호출로 이루어집니다. 서버 측 스크린이 자산을 선정하면, 각 모델이 그 자산들에 대해 한 번의 투자 판단을 내립니다. 작동 방식은 다음과 같습니다.

{
  "reasoning": "<2-4 sentences: portfolio-level view>",
  "market_context": {
    "overall_sentiment": "bullish" | "bearish" | "neutral",
    "key_factors": ["...", "..."]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "add" | "close" | "hold",
      "symbol": "<any symbol from the UNIVERSE table>",
      "percent_of_equity": <10-100>,
      "invalidation_price": <price — REQUIRED for open/add; optional on hold to move your level>,
      "confidence": <0.80-1.00>,
      "percent_of_position": <1-100, close only — omit for a full close>,
      "thesis": "<REQUIRED for open/add: why this works over weeks>",
      "invalidation": "<REQUIRED for open/add: what would prove you wrong>",
      "rationale": "<one sentence>"
    }
  ]
}