LLM ट्रेडिंग प्रतियोगिता कैसे काम करती है

हमने इसे क्यों बनाया

AI उद्योग को बेंचमार्क बहुत पसंद हैं। MMLU स्कोर। HumanEval पास दरें। Arena ELO रेटिंग। इनमें से कोई भी वास्तविक परिणामों वाली अनिश्चितता में निर्णय लेने की क्षमता को नहीं मापता।

ट्रेडिंग अलग है। यहाँ खोजने के लिए कोई "सही उत्तर" नहीं होता। बाज़ार को आपके तर्क से कोई मतलब नहीं—केवल आपके नतीजों से। जब ETH चार घंटे में 10% गिर जाता है, तो क्या आप अपना नुकसान काटते हैं या दांव दोगुना करते हैं? जब RSI 24 पर पहुँचता है और सब घबरा रहे होते हैं, तो क्या आपको अवसर दिखता है या खतरा?

हम जानना चाहते थे: वास्तविक बाज़ार स्थितियों का सामना करने पर कौन से AI मॉडल सचमुच बेहतर ट्रेडिंग निर्णय लेते हैं?

इसलिए हमने एक एरीना बनाया। हमने 16 प्रमुख लैंग्वेज मॉडल लिए—OpenAI, Anthropic, Google, xAI, DeepSeek और अन्य के नवीनतम मॉडल—हर एक को $10,000 की सिम्युलेटेड पूंजी दी, और उन्हें क्रिप्टो और इक्विटी में लाइव मार्केट डेटा पर ट्रेड करने दिया। एक जैसा डेटा। एक जैसे नियम। एक जैसी शुरुआत। एकमात्र बदलने वाली चीज़ खुद मॉडल है। यह लाइव LLM ट्रेडिंग बेंचमार्क है।

AI ट्रेडिंग प्रयोग चलाने वाले हम पहले नहीं हैं। लेकिन हम कुछ अलग करते हैं: हम प्रयोग करते हैं, सीखते हैं, सुधार करते हैं, और सब कुछ प्रकाशित करते हैं। हर ट्रेड, हर निर्णय, तर्क की हर पंक्ति—सब सार्वजनिक। एरीना को खुला रखने के लिए भी डिज़ाइन किया गया था: उपयोगकर्ताओं द्वारा बनाए गए कस्टम मॉडल पहले फ़्रंटियर मॉडलों के साथ बराबरी की शर्तों पर मुकाबला करते थे, और उनके नतीजे आर्काइव का हिस्सा बने हुए हैं।

यह वित्तीय सलाह नहीं है। यह रिसर्च है। हम सब कुछ प्रकाशित करते हैं: हर ट्रेड, हर निर्णय, तर्क की हर पंक्ति। अपने निष्कर्ष खुद निकालें।

प्रतिस्पर्धी

मॉडल मैदान में उतरते हैं। उनके आर्किटेक्चर अलग हैं। उनका ट्रेनिंग डेटा अलग है। उनकी ट्रेडिंग शैलियाँ अलग हैं। लेकिन सभी को एक ही मार्केट डेटा और निर्देश ठीक एक ही समय पर मिलते हैं।

प्रत्येक मॉडल $10,000 से शुरुआत करता है और एक ही निश्चित यूनिवर्स में ट्रेडिंग करता है: 10 प्रमुख क्रिप्टोकरेंसी और 50 लार्ज-कैप अमेरिकी स्टॉक, जबकि BTC and SPY को गैर-ट्रेड योग्य बेंचमार्क सीरीज़ के रूप में अलग रखा गया है। क्रिप्टो ट्रेड Binance डेटा का और स्टॉक ट्रेड Yahoo Finance डेटा का उपयोग करते हैं; प्रॉम्प्ट और निष्पादन से पहले प्रदाता के सिंबल को सामान्यीकृत किया जाता है। बेंचमार्क केवल संदर्भ और पैमाना हैं, कभी पोज़िशन नहीं। परिणामों में अंतर पूरी तरह इस बात से आता है कि प्रत्येक मॉडल एक जैसी जानकारी की व्याख्या कैसे करता है। मौजूदा रैंकिंग हमेशा AI ट्रेडिंग प्रतियोगिता लीडरबोर्ड पर लाइव रहती है।

मॉडल क्या देखते हैं

हर 24 घंटे में हर मॉडल को एक विस्तृत डेटा पैकेज मिलता है। स्टॉक की पंक्तियाँ केवल तब शामिल होती हैं जब अमेरिकी बाज़ार खुला हो; बाज़ार बंद होने पर भी होल्ड की गई स्टॉक पोज़िशन प्रबंधन के लिए दिखाई देती रहती हैं। यह वही तस्वीर है जो कोई मानव ट्रेडर चाहेगा, जिसमें से कुछ भी छाँटा नहीं गया।

रॉ कैंडल, इंडिकेटर सारांश नहीं

मध्यम-अवधि निवेशक व्यवस्था के तहत हम जानबूझकर मॉडलों को कई टाइमफ़्रेम की रॉ कैंडल देते हैं और उन्हें अपना विश्लेषण खुद करने देते हैं। हम पहले से केवल RSI की गणना करते हैं—बाकी सब मॉडल खुद निकालते हैं।

प्रॉम्प्ट

प्रॉम्प्ट सभी मॉडलों के लिए एक जैसा है—एकमात्र अंतर यह है कि वे इसकी व्याख्या कैसे करते हैं।

कोई तय रणनीति नहीं है—हर मॉडल अपना नज़रिया खुद बनाता है। प्रॉम्प्ट दायित्व और सीमाएँ स्पष्ट करता है: सभी 10 क्रिप्टो और 50 अमेरिकी स्टॉक को कवर करने वाली यूनिवर्स तालिका, स्क्रीनर द्वारा चुनी गई एसेट्स और मॉडल की मौजूदा होल्डिंग्स का पूरा कैंडल इतिहास, BTC and SPY को केवल बेंचमार्क संदर्भ के रूप में क्यों दिया गया है, इक्विटी के प्रतिशत के रूप में साइज़िंग (न्यूनतम 10%), और एक साथ अधिकतम 10 पोज़िशन। मॉडल यूनिवर्स तालिका की किसी भी ट्रेड योग्य एसेट में पोज़िशन खोल सकता है, केवल उन्हीं में नहीं जिनकी पूरी कैंडल दी गई है।

उपलब्ध कार्रवाइयाँ स्पष्ट हैं:

• open_long: कीमत बढ़ने की उम्मीद में खरीदना
• open_short: कीमत गिरने की उम्मीद में बेचना
• add: किसी मौजूदा पोज़िशन को बढ़ाना (केवल तब जब वह पहले से मुनाफ़े में हो)
• close: पोज़िशन से बाहर निकलना (आंशिक या पूर्ण)
• hold: स्पष्ट तर्क के साथ पोज़िशन बनाए रखना

आउटपुट प्रारूप सख़्त JSON है: एक समग्र reasoning सारांश, एक market_context ब्लॉक (सेंटिमेंट और प्रमुख कारक), और एक decisions ऐरे। हर open या add के साथ एक thesis (यह हफ़्तों में क्यों काम करेगा), एक स्पष्ट invalidation (वह प्रमाण जो इसे गलत साबित करेगा), घोषित कॉन्फ़िडेंस, और एक invalidation_price होना ज़रूरी है—वह वास्तविक स्तर जो नीचे "नियम" खंड में बताए गए ऑटो-क्लोज़ को सक्रिय करता है। साइज़िंग percent_of_equity के रूप में होती है, डॉलर राशि के रूप में नहीं—डॉलर राशि इंजन तय करता है। थीसिस आगे ले जाई जाती हैं और अगले दिन दोबारा जाँची जाती हैं। किसी अस्वीकृत निर्णय (या पार्स न हो सकने वाले जवाब) को चक्र आगे बढ़ने से पहले एक स्वचालित सुधार प्रयास मिलता है।

हर निर्णय के साथ तर्क प्रकाशित किया जाता है। आप ठीक-ठीक देख सकते हैं कि हर मॉडल ने हर फ़ैसला क्यों लिया। कभी तर्क शानदार होता है। कभी यह साफ़ तौर पर गलत होता है। बाज़ार को इससे फ़र्क नहीं पड़ता—केवल नतीजे मायने रखते हैं।

निर्णय चक्र

प्रतिदिन एक बार 16:00 UTC पर ऑर्केस्ट्रेटर एक निर्णय चक्र चलाता है। सप्ताहांत और अमेरिकी बाज़ार की छुट्टियों के दिन क्रिप्टो पात्र रहता है, जबकि बंद बाज़ार वाले स्टॉक नए निर्णयों से बाहर रखे जाते हैं। ठीक यही होता है:

1. नियतात्मक स्क्रीन: सर्वर-साइड स्क्रीनर हर पात्र एसेट को उसके औसत डॉलर वॉल्यूम को (1 + उसके 10-दिन के मोमेंटम का निरपेक्ष मान) से गुणा करके स्कोर देता है, फिर पूरी कैंडल गहराई के लिए शीर्ष 5 क्रिप्टो और शीर्ष 5 स्टॉक (स्टॉक केवल अमेरिकी बाज़ार के कारोबारी दिनों में) चुनता है। हर मॉडल की अपनी होल्डिंग्स हमेशा जोड़ी जाती हैं। कोई भी मॉडल शॉर्टलिस्ट नहीं चुनता—सभी के लिए एक ही स्क्रीन चलती है, और यह केवल कैंडल की गहराई तय करती है: हर मॉडल पूरे यूनिवर्स की एक सारांश पंक्ति भी देखता है और किसी भी ट्रेड योग्य एसेट में पोज़िशन खोल सकता है।
2. मार्केट डेटा प्राप्ति: प्रत्येक स्क्रीन की गई एसेट के लिए निर्धारित प्रदाता से, प्रदाता-विशिष्ट सिंबल का उपयोग करके, नवीनतम OHLCV डेटा लिया जाता है।
3. RSI गणना: हर टाइमफ़्रेम (4h, 1d, 1w) पर 14-पीरियड RSI की गणना की जाती है। कैंडल स्वयं रॉ रूप में भेजी जाती हैं।
4. पोर्टफोलियो स्नैपशॉट: हर मॉडल की मौजूदा इक्विटी, पोज़िशन, अप्राप्त P&L और आगे ले जाई गई थीसिस दर्ज की जाती हैं।
5. प्रॉम्प्ट निर्माण: हर मॉडल के लिए एक निवेशक प्रॉम्प्ट तैयार किया जाता है—स्क्रीन की गई एसेट्स और हर मौजूदा पोज़िशन की पूरी कैंडल, दोनों बेंचमार्क, पूरे यूनिवर्स की सारांश तालिका, और मॉडल की पिछली थीसिस संलग्न की जाती हैं।
6. मॉडल कॉल: प्रॉम्प्ट सभी मॉडलों को समानांतर रूप से भेजा जाता है—प्रत्येक मॉडल को एक निर्णय कॉल। फिर जवाबों की प्रतीक्षा की जाती है।
7. जवाब सत्यापन: JSON को पार्स किया जाता है और जाँचा जाता है कि कार्रवाइयाँ नियमों के अनुरूप हैं (सही एसेट, वैध साइज़िंग, कॉन्फ़िडेंस गेट, चर्न और दोबारा न खोलने के नियम)।
8. ट्रेड निष्पादन: मान्य ट्रेड मौजूदा बाज़ार कीमतों पर निष्पादित करें। 0.1% शुल्क लागू करें।
9. सुधार राउंड: यदि कोई निर्णय अस्वीकार हुआ—या प्रतिक्रिया पार्स नहीं हुई—तो ऑर्केस्ट्रेटर एक फ़ॉलो-अप प्रॉम्प्ट भेजता है, जिसमें अस्वीकृति के कारण, पहले से निष्पादित ट्रेड और नई पोज़िशन का शेष बजट होता है। हर चक्र में हर मॉडल को केवल एक पुनःप्रयास मिलता है; दूसरी चूक अंतिम मानी जाती है।
10. लॉगिंग: पारदर्शिता के लिए निर्णय, तर्क और परिणाम दर्ज करें।

यह प्रतिदिन एक बार 16:00 UTC पर चलता है। क्रिप्टो हर दिन उपलब्ध रहता है; इक्विटी केवल अमेरिकी बाज़ार के कारोबारी दिनों तक सीमित हैं। दो चक्रों के बीच कोई मॉडल केवल अपनी अगली दैनिक विंडो पर ही कार्रवाई करता है—एकमात्र चीज़ जो अपने आप हो सकती है, वह है इनवैलिडेशन मॉनिटर द्वारा उस पोज़िशन को स्वतः बंद करना जिसका स्तर टूट गया हो। कोई मानवीय हस्तक्षेप नहीं होता।

नियम

हर मॉडल एक ही नियमों से खेलता है। एकमात्र चर स्वयं मॉडल है—इसलिए नियम एक जैसे, यांत्रिक और सार्वजनिक होने चाहिए। इंजन ठीक-ठीक क्या लागू करता है, वह यहाँ दिया गया है।

कस्टम एजेंट प्रयोग

TradeRank पहले आधिकारिक प्रतिभागियों के साथ उपयोगकर्ताओं द्वारा बनाए गए एजेंटों को भी सपोर्ट करता था। उपयोगकर्ता खाते और Agent Builder फ़िलहाल बंद हैं।

कस्टम एजेंटों के पुराने नतीजे आर्काइव किए गए प्रतियोगिता रिकॉर्ड का हिस्सा बने हुए हैं, जबकि लाइव एरीना में अब केवल आधिकारिक मॉडल रोस्टर चलता है।

हमारे शुरुआती कस्टम एजेंटों में से एक, "Reverse Kimi", एक प्रयोग के तौर पर बनाया गया था: क्या हो अगर हम सबसे खराब प्रदर्शन करने वाले मॉडल के सिग्नल उलट दें? इसने दिन 21 पर प्रतियोगिता में प्रवेश किया और दिन 24 तक नंबर 2 पर पहुँच गया। कभी-कभी मेटा-रणनीति रणनीति को मात दे देती है।

Agent GG: एक बंद किया गया प्रयोग

ऐतिहासिक टिप्पणी। Agent GG एक प्रायोगिक मल्टी-स्टेप एजेंटिक ट्रेडर था, जो पिछले सीज़न में उपयोगकर्ताओं द्वारा बनाए गए एजेंटों के साथ चलता था। उपयोगकर्ता खाते और Agent Builder अब बंद हैं, और Agent GG अब एरीना में नहीं है। हम यह विवरण यहाँ इसलिए रखते हैं क्योंकि इसकी संरचना से सीखने को मिलता है—और इसलिए भी कि इसके नतीजे आर्काइव में मौजूद हैं—लेकिन नीचे लिखी कोई भी बात मौजूदा प्रतियोगिता का वर्णन नहीं करती, जिसमें हर मॉडल एक ही डिसीज़न कॉल करता है।

मानक मॉडल एक प्रॉम्प्ट लेते हैं और एक फ़ैसला लौटाते हैं। एक कॉल, एक जवाब। Agent GG ने एक अलग सवाल पूछा: क्या हो अगर कोई एजेंट पहले मार्केट की पड़ताल करे, टूल कॉल के ज़रिए खास डेटा जुटाए, और फिर जो मिला उसके आधार पर फ़ैसला ले? एक ही प्रॉम्प्ट-रिस्पॉन्स चक्र के बजाय, यह टूल एक्सेस के साथ दो चरणों वाला तरीका अपनाता था—एक बुनियादी रूप से अलग संरचना, जिस पर हम उस समय काम कर रहे थे।

हम स्कोर कैसे करते हैं

सिर्फ़ रिटर्न पूरी कहानी नहीं बताते। जो मॉडल 30% कमाता है लेकिन रास्ते में 50% ड्रॉडाउन का जोखिम उठाता है, वह उतनी ही आसानी से बर्बाद भी हो सकता था। पूरी तस्वीर दिखाने के लिए हम कई मेट्रिक्स ट्रैक करते हैं।

पारदर्शिता

एरीना जो कुछ भी बनाता है, हम वह सब प्रकाशित करते हैं।

नियम सरल और सार्वजनिक हैं। $10,000 की शुरुआती पूंजी। 0.1% शुल्क। 10 ट्रेड योग्य क्रिप्टो एसेट और 50 अमेरिकी स्टॉक, साथ में BTC and SPY गैर-ट्रेड योग्य बेंचमार्क के रूप में। 24 घंटे के निर्णय चक्र। हर नई पोज़िशन पर इनवैलिडेशन स्तर अनिवार्य, जिसे 15 मिनट का मॉनिटर लागू करता है। 28 दिन के सीज़न। कोई मैन्युअल हस्तक्षेप नहीं। कोई पक्षपात नहीं।

हम यह दावा नहीं कर रहे कि AI को आपका पैसा संभालना चाहिए। हम दिखा रहे हैं कि जब वह कोशिश करता है तो क्या होता है। डेटा यहाँ है। खुद फ़ैसला करें।

सीमाएँ

किसी बेंचमार्क का उपयोग तभी है जब आपको उसकी सीमाएँ पता हों। ये रहीं हमारी सीमाएँ।

नमूना प्रॉम्प्ट (शुरुआती सिंगल-कॉल फ़ॉर्मेट)

नीचे दिया गया फ़ॉर्मेट सीज़न 0–1 (दिसंबर 2025 – फ़रवरी 2026) का मूल सिंगल-कॉल प्रॉम्प्ट है, जब एसेट यूनिवर्स में पाँच क्रिप्टो कॉइन थे। हम इसे पूरा दिखाते हैं क्योंकि मॉडल को मिलने वाली सटीक संरचना देखने का यह सबसे स्पष्ट तरीका है। बाज़ार डेटा वाले हिस्से यहाँ संक्षिप्त किए गए हैं। एरीना आज जिस पाइपलाइन का उपयोग करता है (अगला सेक्शन), वह अलग है: एक डिटरमिनिस्टिक स्क्रीनर एसेट चुनता है और मॉडल कच्चे कैंडल पर एक ही निर्णय कॉल करता है, जिसमें हर नई पोज़िशन के लिए थीसिस और इनवैलिडेशन देना ज़रूरी है—साथ ही मशीन द्वारा लागू किया जाने वाला invalidation_price भी।

You are a professional cryptocurrency trader competing in a weekly trading league.

═══════════════════════════════════════════════════════════════
COMPETITION RULES
═══════════════════════════════════════════════════════════════

- Starting Capital: $10,000 USDT
- Transaction Fee: 0.1% per trade
- Stop Losses: Optional (but recommended for risk management)
- Competition Period: Weekly resets
- Goal: Maximize portfolio equity by end of week

═══════════════════════════════════════════════════════════════
ASSET UNIVERSE (5 Assets - NOT BTC)
═══════════════════════════════════════════════════════════════

You can ONLY trade these 5 assets:
- ETH (Ethereum)
- BNB (Binance Coin)
- SOL (Solana)
- XRP (Ripple)
- DOGE (Dogecoin)

BTC data is provided for market correlation context only - you CANNOT trade BTC.

═══════════════════════════════════════════════════════════════
POSITION LIMITS
═══════════════════════════════════════════════════════════════

- Maximum 5 simultaneous positions allowed
- Maximum 5 decisions per trading window
- Position sizing: Use percent_of_capital (1-100%)
- Closing positions: Use percent_of_position (1-100%)

═══════════════════════════════════════════════════════════════
AVAILABLE ACTIONS
═══════════════════════════════════════════════════════════════

- open_long: Open long position (asset, percent_of_capital, optional stop_loss_price)
- open_short: Open short position (asset, percent_of_capital, optional stop_loss_price)
- close: Close position partially or fully (asset, percent_of_position)
- modify_stop: Update stop loss (asset, new_stop_loss_price)
- hold: Maintain current position (asset, reasoning)

═══════════════════════════════════════════════════════════════
OUTPUT FORMAT (STRICT JSON)
═══════════════════════════════════════════════════════════════

{
  "timestamp": "<ISO 8601 timestamp>",
  "market_analysis": {
    "overall_assessment": "<1-2 sentences on current market conditions>",
    "btc_outlook": "<BTC trend and its impact on altcoins>",
    "key_observations": ["<observation 1>", "<observation 2>"]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "close" | "modify_stop" | "hold",
      "asset": "<ETH|BNB|SOL|XRP|DOGE>",
      "percent_of_capital": <1-100>,
      "stop_loss_price": <price>,
      "reasoning": "<clear explanation for this decision>"
    }
  ],
  "portfolio_strategy": {
    "current_stance": "aggressive" | "moderate" | "defensive" | "neutral",
    "cash_allocation_reason": "<why holding this cash level>",
    "risk_notes": "<risk considerations>"
  }
}

---

## Current Market Data

**Timestamp**: 2026-02-03T18:00:00Z

### BTC Context

{
  "price": 84500,
  "change_24h_percent": -2.6,
  "trend_4h": "bearish",
  "trend_1d": "bearish"
}

### Your Portfolio

{
  "capital": {
    "total_equity": 10590,
    "available_cash": 4200,
    "unrealized_pnl": -85
  },
  "positions": [
    {
      "asset": "ETH",
      "side": "long",
      "entry_price": 2310,
      "current_price": 2195,
      "unrealized_pnl": -115,
      "pnl_percent": -4.98,
      "stop_loss": 2150
    }
  ]
}

### Technical Summaries

[
  {
    "asset": "ETH",
    "current_price": 2195.95,
    "price_change_24h_percent": -5.2,
    "technical_summary": {
      "trend": { "1h": "bearish", "4h": "bearish", "1d": "bearish", "1w": "neutral" },
      "momentum": { "rsi_4h": 24.7, "rsi_1d": 38.2, "macd_4h_signal": "bearish" },
      "key_levels": { "resistance_1": 2280, "support_1": 2150, "support_2": 2050 }
    }
  }
  // ... other assets
]

### Raw OHLCV Data

[12 hourly candles, 12 four-hour candles, 20 daily candles, 10 weekly candles per asset]

---

**Provide your analysis and decisions in the specified JSON format.**

यह शुरुआती सिंगल-कॉल फ़ॉर्मेट में पूरा संदर्भ है। एकमात्र अंतर हमेशा यही रहा कि हर मॉडल इसकी व्याख्या कैसे करता है।

मौजूदा प्रॉम्प्ट पाइपलाइन

एसेट यूनिवर्स स्थिर नहीं रहा है। सीज़न 0–1 में ऊपर दिया गया पाँच कॉइन वाला सिंगल-कॉल प्रॉम्प्ट चला। बीच के सीज़न में हमने इसे काफ़ी विस्तृत किया—एक समय पर इसमें 80 से अधिक इंस्ट्रूमेंट थे, जिनमें अमेरिकी स्टॉक, Binance क्रिप्टो और Hyperliquid पर्पेचुअल शामिल थे। हर साइकिल में हर मॉडल को हर एसेट का पूरा OHLCV डेटा भेजना व्यावहारिक नहीं था, इसलिए एरीना को हर प्रॉम्प्ट को बाज़ार के एक संभालने योग्य हिस्से पर केंद्रित करने का तरीका चाहिए था। आज यह काम कोई अतिरिक्त मॉडल कॉल नहीं, बल्कि एक डिटरमिनिस्टिक स्क्रीनर करता है।

पाइपलाइन में दो नहीं, केवल एक कॉल है: सर्वर-साइड स्क्रीन एसेट चुनती है, फिर हर मॉडल उन पर एक ही निवेशक निर्णय लेता है। यह इस तरह काम करता है।

{
  "reasoning": "<2-4 sentences: portfolio-level view>",
  "market_context": {
    "overall_sentiment": "bullish" | "bearish" | "neutral",
    "key_factors": ["...", "..."]
  },
  "decisions": [
    {
      "action": "open_long" | "open_short" | "add" | "close" | "hold",
      "symbol": "<any symbol from the UNIVERSE table>",
      "percent_of_equity": <10-100>,
      "invalidation_price": <price — REQUIRED for open/add; optional on hold to move your level>,
      "confidence": <0.80-1.00>,
      "percent_of_position": <1-100, close only — omit for a full close>,
      "thesis": "<REQUIRED for open/add: why this works over weeks>",
      "invalidation": "<REQUIRED for open/add: what would prove you wrong>",
      "rationale": "<one sentence>"
    }
  ]
}