KEN’S CAT LOG
▣

मैंने 0.8B LLM को 20 भाषाओं के RAG के लिए अतिरिक्त प्रशिक्षण दिया: सटीकता 74% से 94%, CPU पर प्रति प्रश्न 7 सेकंड

मुझे CPU पर चलने वाला, बहुभाषी RAG मॉडल चाहिए था। उसे कोई लेख देकर प्रश्न पूछने पर वह लेख में से उत्तर दे। लेख में उत्तर न हो तो गढ़ने के बजाय साफ़ कहे कि “उत्तर नहीं है।” ऐसा मॉडल मैंने Qwen3.5 के 0.8B (80 करोड़ पैरामीटर) को अतिरिक्त प्रशिक्षण देकर बनाया। लक्ष्य 20 भाषाएँ थीं।

पहले निष्कर्ष।

  • सटीकता 73.8% → 93.8%। बिना अतिरिक्त प्रशिक्षण वाले Qwen3-4B (94.7%) से, उसके आकार के पाँचवें हिस्से में, सिर्फ़ 1 अंक पीछे रह गया
  • सबसे बड़ा सुधार “गढ़ना” ठीक होने में हुआ। मूल 0.8B को जब उत्तर-विहीन लंबा लेख दिया जाता था, तो वह लगभग 40% मामलों में कोई न कोई उत्तर बना देता था
  • CPU पर प्रति प्रश्न 7 सेकंड। लगभग 2,500 टोकन का लेख पढ़कर उत्तर देने तक का समय। 4B को 60 सेकंड लगते हैं
  • 95% पार नहीं कर पाया। लर्निंग रेट, epochs और डेटा की मात्रा बदलने पर भी यह 94% के आसपास ही रुका। लगता है 0.8B आकार की यही सीमा है

किससे मापा

20 भाषाओं (जापानी, अंग्रेज़ी, चीनी, क्रोएशियाई, हिंदी आदि) की Wikipedia से प्रश्न बनाए। हर प्रश्न के लिए चार प्रकार के लेख देकर उत्तर दिलवाया।

  • अनुच्छेद: उत्तर वाला छोटा अनुच्छेद
  • लंबा संदर्भ: उत्तर वाले अनुच्छेद को असंबंधित लेखों में मिलाकर बना कई हज़ार टोकन का लेख
  • उत्तर नहीं (छोटा/लंबा): ऐसा लेख जिसमें उत्तर नहीं है। “उत्तर नहीं है” कहने पर सही माना गया

इन चारों के औसत को “सटीकता” कहा गया है। प्रश्न निर्माण और मूल्यांकन Qwen3-32B ने किया। यह देखने के लिए कि मूल्यांकन Qwen की ओर झुका हुआ तो नहीं है, अलग श्रेणी के gpt-oss-120b से भी दोबारा मूल्यांकन किया; अंतर 0.5 अंक के भीतर था।

इसे अलग प्रकार के प्रश्नों पर भी परखा।

  • XQuAD: मनुष्यों द्वारा लिखे प्रश्नों का 8-भाषाई संस्करण
  • hr0: पहले किसी दूसरे मॉडल से बनाया गया क्रोएशियाई परीक्षण

क्योंकि सिर्फ़ उसी तरीके से बने प्रश्नों पर परीक्षण करने से यह पता नहीं चलता कि मॉडल वास्तव में बेहतर हुआ है या बस उस प्रारूप का अभ्यस्त हुआ है।

मूल 0.8B, उत्तर न होने पर कहानी गढ़ता है

अतिरिक्त प्रशिक्षण से पहले Qwen3.5-0.8B पर मापने पर यह परिणाम आया (20 भाषाओं का औसत)।

अनुच्छेद लंबा संदर्भ उत्तर नहीं छोटा उत्तर नहीं लंबा
68.9 71.0 87.9 63.2

उत्तर-विहीन लंबा लेख देने पर यह लगभग 40% मामलों में कोई न कोई उत्तर बना देता है। हिंदी में तो केवल 15 अंक थे। RAG के लिए यह समस्या है।

क्या आज़माया

प्रशिक्षण vast.ai से किराए पर लिए RTX PRO 6000 (96GB) पर किया।

1. 20 भाषाओं के RAG डेटा पर LoRA

प्रशिक्षण डेटा 20 भाषाएँ × 500 प्रश्न था। उनसे चार प्रकार के लेखों वाले उदाहरण बनाए गए, कुल 18,025 उदाहरण। सही उत्तर एक-वाक्यीय था, और उत्तर न होने पर उस भाषा का तय “उत्तर नहीं है” वाक्य रखा गया।

LoRA (rank 64) से 1 epoch, 1.7 घंटे।

अनुच्छेद लंबा संदर्भ उत्तर नहीं छोटा उत्तर नहीं लंबा
मूल 0.8B 68.9 71.0 87.9 63.2
LoRA के बाद 91.7 89.0 98.4 93.4

सिर्फ़ इससे ही परिणाम तेज़ी से बढ़ गए। उत्तर नहीं लंबा 63 → 93 हुआ और मनगढ़ंत उत्तर लगभग ठीक हो गए।

वैसे, जब पहले 2B पर आज़माया था, तो केवल 3 भाषाओं (क्रोएशियाई, जर्मन, तुर्की) पर प्रशिक्षण देने से भी सभी 20 भाषाओं में सुधार हुआ था। मूल मॉडल की कमजोरी शायद ज्ञान या पढ़कर समझने की नहीं, बल्कि निर्देशानुसार उत्तर देने या मना करने की आदत की थी।

2. मनुष्यों के लिखे प्रश्नों पर, यह तुरंत मना कर देता है

मनुष्यों द्वारा लिखे प्रश्नों वाले XQuAD पर आज़माने पर, उत्तर मौजूद होने पर भी “उत्तर नहीं है” कह देने के कई उदाहरण मिले।

मिसाल के लिए, “रोटर का दूसरा नाम क्या है?” पूछने पर अनुच्छेद में केवल “घूमने वाली डिस्क” लिखा है। प्रश्न और अनुच्छेद की भाषा अलग होने वाले ऐसे मामलों में मॉडल मना कर देता है।

कारण प्रशिक्षण डेटा में था। प्रश्न बनाने वाला Qwen3-32B अक्सर अनुच्छेद के शब्दों को ही प्रश्न में इस्तेमाल करता था। इसलिए लगता है मॉडल ने सीख लिया कि “वही शब्द न मिले तो मना कर दो।”

इसलिए gpt-oss-120b से हर भाषा में अलग प्रकृति के 400 प्रश्न बनवाकर जोड़े गए।

  • अनुच्छेद से अलग शब्दावली वाले प्रश्न
  • खोज परिणामों जैसे, कटे-फटे अंश
  • संबंधित लेकिन उत्तर-विहीन, भ्रमित करने वाले लेख
  • 1K–8K टोकन के लंबे संदर्भ

इससे XQuAD में अनुच्छेद स्कोर 79.6 → 83.6 और लंबा संदर्भ 75.5 → 79.2 हुआ। इस बार लगभग केवल इसी से लाभ हुआ।

ध्यान दें कि इसके बाद LoRA की जगह सभी पैरामीटर पर प्रशिक्षण किया गया। उसी डेटा के साथ, दोनों के परिणाम लगभग समान थे।

3. जो काम नहीं आया

क्या आज़माया परिणाम
लर्निंग रेट 3 गुना (1e-5 → 3e-5) वैलिडेशन loss स्पष्ट रूप से बिगड़ा, इसलिए रोक दिया
2 epochs का प्रशिक्षण वैलिडेशन loss घटा, लेकिन सटीकता समान रही। XQuAD थोड़ा गिरा
अलग प्रकृति के डेटा को दोगुना किया अपने प्रश्नों पर +0.1। XQuAD और hr0 घटे
मनुष्यों के लिखे प्रश्न (SQuAD・TyDi QA) जोड़े उल्टा असर। XQuAD का उत्तर नहीं लंबा 99.8 → 91.2

सोचा था कि मनुष्यों के लिखे प्रश्न मदद करेंगे, लेकिन उल्टा हुआ। XQuAD, SQuAD के अनुच्छेदों से बना है। इसलिए शायद मॉडल ने सीख लिया कि “SQuAD जैसे अनुच्छेद में उत्तर होता है।” मूल्यांकन के बहुत करीब का डेटा जोखिम भरा है।

4. Q4 क्वांटाइज़ेशन पर 1 अंक घटता है

CPU पर चलाने के लिए इसे llama.cpp के GGUF में बदलकर क्वांटाइज़ किया।

2B में Q4_K_M पर भी लगभग कोई गिरावट नहीं आई। लेकिन 0.8B लगभग 1 अंक गिरा। छोटे मॉडल क्वांटाइज़ेशन के प्रति अधिक संवेदनशील होते हैं। Q6_K या Q8_0 करने पर स्कोर वापस आया, और क्रोएशियाई प्रश्नों में 95.4 तक पहुँचा।

परिणाम

अंतिम 0.8B की तुलना मूल मॉडल और बड़े मॉडलों से की। सभी स्कोर चार प्रकारों के औसत हैं; 0.8B और 2B को CPU के लिए इस्तेमाल होने वाले रूप (Q4_K_M) में मापा गया।

मॉडल आकार 20 भाषाओं के प्रश्न XQuAD (मनुष्यों के लिखे प्रश्न) hr0
Qwen3.5-0.8B (मूल) — 73.8 74.8 72.7
0.8B (अतिरिक्त प्रशिक्षण) 0.67GB 93.8 89.9 90.0
2B (उसी तरीके से अतिरिक्त प्रशिक्षण) 1.56GB 96.4 92.4 93.5
Qwen3-4B-Instruct-2507 (बिना अतिरिक्त प्रशिक्षण) 2.3GB 94.7 94.0 91.2
  • 0.8B में 20 अंकों की बढ़त हुई और यह 4B से सिर्फ़ 1 अंक पीछे है। 2B, 4B को पीछे छोड़ देता है
  • मनुष्यों के लिखे प्रश्नों (XQuAD) में यह अब भी 4B से 4 अंक पीछे है। अलग शब्दावली वाले प्रश्नों की कमजोरी पूरी तरह नहीं सुधरी है
  • 0.8B जिन प्रश्नों में गलती करता है, उनमें 64% का उत्तर 2B सही देता है। शेष शायद मॉडल के आकार की सीमा है। सटीकता प्राथमिकता हो तो 2B लें

गति (लैपटॉप CPU)

i7-11800H के 8 थ्रेड पर मापा गया। लंबे समय तक चलाने पर क्लॉक लगभग आधी रह जाने वाले लैपटॉप पर मापने के कारण ये कुछ धीमे आंकड़े हैं।

लेख पढ़ना (4K टोकन) जनरेशन लंबा संदर्भ, 1 प्रश्न
0.8B 314 tok/s 53 tok/s लगभग 7 सेकंड
2B 97 tok/s 21 tok/s लगभग 25 सेकंड
4B 42 tok/s 11 tok/s लगभग 60 सेकंड

केवल अनुच्छेद हो तो 1 सेकंड भी नहीं लगता।

लागत

vast.ai पर कुल लगभग 75 डॉलर लगे। इसमें 2B का प्रशिक्षण और मूल्यांकन डेटा बनाने का खर्च भी शामिल है।

सारांश

  • 0.8B भी RAG के लिए अतिरिक्त प्रशिक्षण पाकर लगभग 94% सटीकता तक पहुँच सकता है। खासकर उत्तर न होने पर मनगढ़ंत जवाब देना लगभग ठीक हो जाता है
  • प्रशिक्षण डेटा की “विविधता” बढ़ाना प्रभावी रहा। मात्रा, epochs और लर्निंग रेट का असर नहीं हुआ
  • सटीकता के लिए 2B, गति के लिए 0.8B। दोनों ही बिना अतिरिक्त प्रशिक्षण वाले 4B से अधिक व्यावहारिक लगते हैं