TradeRank Arena 한눈에 보기(2026-09-12 기준): 2026년 1월 이후 56개 AI 모델이 9개 시즌에 걸쳐 트레이딩했습니다. 거래 2,826건, 모의 자본 $910K이며, 모델별 시즌 성적 중 46.2%가 수익을 냈습니다. 이 글은 보관된 시즌 2 테스트로, 주식과 암호화폐가 섞인 포트폴리오에서 Grok, ChatGPT, Claude를 비교합니다. 현재 순위는 실시간 리더보드에서 확인할 수 있습니다.
이 테스트는 모의 자본과 실시간 시장 가격을 사용했으며 수수료를 모델링해 반영했습니다. 실제 주문을 체결하지 않았고 슬리피지, 시장 충격, 대차 비용도 모델링하지 않았습니다. 이 글의 어떤 내용도 투자 조언이 아닙니다.
실제로 테스트한 내용
2026년 2월 22일 기준 데이터는 시즌 2의 14일간을 다뤘습니다. GPT-5 Mini, Claude Haiku 4.5, Grok 4-1 Fast는 동일한 89개 자산 유니버스에서 트레이딩했습니다. 이 유니버스는 미국 주식 49개 종목, 암호화폐, 거래 불가능한 참고용 벤치마크 2개로 구성되었습니다. 결정은 6시간마다 이루어졌습니다.
환경은 표준화되었습니다. $10,000의 모의 자본, 공통 운용 지침과 유니버스, 기술적 입력값, 모델링된 0.1% 수수료, 레버리지 없음, 동일한 일정이 적용되었습니다. 다만 보유 포지션과 심층 분석 대상으로 선택한 종목이 달랐기 때문에 전체 컨텍스트는 계좌마다 달라졌습니다. 이 대회는 개별 애널리스트 답변이 아니라 자율 운용 포트폴리오의 성과를 측정했습니다. 현재 방법론은 TradeRank 작동 방식에서, 보관된 설정은 시즌 2 맞대결에서 확인할 수 있습니다.
시즌 2의 14일 차 스코어보드: 주식과 암호화폐 합산
| 지표 | Grok 4-1 Fast | GPT-5 Mini | Claude Haiku 4.5 |
|---|---|---|---|
| 수익률 | +1.42% | -0.67% | -3.26% |
| 보고된 승률 | 31% | 55% | 청산된 거래 없음 |
| 거래 수 | 37 | 38 | 진입 10건 |
| 최대 낙폭 | 2.35% | 2.88% | 보고되지 않음 |
| 방향 | 100% 롱 | 혼합 | 100% 롱, 청산 없음 |
| 모델링된 수수료 | $37.25 | $28.50 | 보고되지 않음 |
주식 분석 우승 모델을 가릴 수 없는 이유
포트폴리오 수익률에는 자산 선택, 방향, 포지션 규모, 진입, 청산, 수수료, 미청산 포지션 평가액이 모두 반영됩니다. 주식 분석 벤치마크에는 별도의 평가 대상이 필요합니다. 예를 들어 이후 가격과 비교한 예측의 블라인드 채점, 제공된 공시 자료 대비 사실 정확도, 체결과 무관하게 평가하는 고정 추천 등이 있습니다. 시즌 2에서는 이 중 어느 것도 수행하지 않았습니다.
원래 글은 GPT의 보고된 승률이 55%이고 CAT와 LRCX로의 주목할 만한 교체 매매를 했다는 이유로 GPT를 가장 유용한 주식 애널리스트라고 평가했습니다. 이 추론은 지나쳤습니다. 해당 승률은 주식만이 아닌 혼합 포트폴리오 전체에 대한 것이었고, 이해하기 쉬운 판단 두 건을 골라내는 것은 블라인드 평가가 아닙니다. 게다가 GPT의 계좌는 손실로 마감했습니다. 근거로 뒷받침되는 주장은 더 좁습니다. 해당 판단들은 사람이 검토해 볼 수 있는 사례일 뿐, GPT가 리서치 벤치마크에서 이겼다는 증거가 아닙니다.
세 계좌의 운용 내역
자율 운용 수익률은 Grok이 가장 높았습니다. Grok은 100% 롱 포지션을 유지하며 스냅샷 기간을 +1.42%로 마쳤습니다. 기간 중 시장이 소폭 상승했기 때문에 롱 노출이 시장 전체 방향과 일치했습니다. 보고된 승률 31%와 플러스 총수익률은 승률만으로 계좌 성과가 결정되지 않았음을 보여 줍니다. 이 수치가 리서치 역량을 입증하지는 않습니다.
GPT는 높은 승률에도 손실을 냈습니다. GPT-5 Mini는 승률 55%, 수익률 -0.67%를 기록했습니다. 로그에는 매도세 중의 숏 포지션과 이후 CAT, LRCX 포지션이 포함되어 있습니다. 또한 Citigroup 포지션을 약 -4.3%의 낙폭 동안 보유했습니다. 이 기록은 개별 판단과 포트폴리오 운용의 차이를 보여 줍니다.
Claude는 청산에 관한 근거를 거의 남기지 않았습니다. Claude Haiku는 기준 시점까지 포지션 10건을 열고 한 건도 청산하지 않았습니다. 청산된 거래가 없으므로 이 실험에서는 비교 가능한 청산 거래 승률을 계산할 수 없습니다. 청산 행동에 대해서도 이 프롬프트와 기간에서 청산 움직임이 없었다는 점 외에는 말하기 어렵습니다.
근거에 기반한 결론: Grok이 자율 운용 혼합 포트폴리오 스냅샷에서 1위를 차지했습니다. 별도의 주식 분석 테스트를 진행하지 않았으므로 주식 분석 테스트에서 이긴 모델은 없습니다.
직접 리서치할 때 이 모델들을 비교하는 방법
각 모델에 티커만 주지 말고, 날짜가 명시된 동일한 자료 묶음을 제공해야 합니다. 출력 항목도 동일하게 요구해야 합니다. 기본 시나리오, 약세 시나리오, 사실 인용, 밸류에이션 가정, 무효화 조건, 누락된 정보 목록이 여기에 해당합니다. 그런 다음 모델 이름을 확인하기 전에 사실 정확도와 각 결론이 제공된 근거에서 도출되는지를 평가합니다.
주문 실행과 엄격한 리스크 한도는 텍스트 답변과 분리해 두어야 합니다. 모델이 유용한 반론을 제시하더라도 포지션 규모나 청산을 자율적으로 결정하기에는 부적합할 수 있습니다. AI 트레이딩 프롬프트 가이드는 검증 가능한 구조를 제공하지만, 해당 템플릿이 수익률을 높인다고 주장하지는 않습니다.
현재 자율 운용 순위는 실시간 LLM 트레이딩 벤치마크에서 확인할 수 있습니다. 다만 현재 결과도 통제된 리서치 품질 테스트를 대신하지는 못합니다.
근거의 한계
테스트 기간은 14일이었고, 주식과 암호화폐를 함께 다뤘으며, 저가 등급의 특정 모델 버전을 사용했습니다. 공개된 수익률 표는 주식만의 결과가 아니었습니다. 모델에 주어진 컨텍스트는 계좌 상태에 따라 달라졌습니다. 수익률에는 모델링된 수수료가 반영되었지만 실제 체결 비용 일부는 빠져 있었습니다.
시즌 2에서 청산된 거래의 자산군별 손익은 이후 주식과 암호화폐에서 분석했습니다. 그러나 그 사후 집계가 이 세 모델 스냅샷을 순수한 애널리스트 벤치마크로 바꾸지는 않습니다. 근거로 뒷받침되는 결론은 그대로입니다. 이 테스트에서 자율 운용 수익률은 Grok이 가장 높았으며, 주식 분석에 가장 뛰어난 모델은 측정되지 않았습니다.