क्रोएशियाई वाक् संश्लेषण मॉडल की अगली कड़ी। इस बार एक छोटे मॉडल से क्रोएशियाई, जापानी और अंग्रेज़ी—तीनों भाषाएँ बुलवाईं। फिर तुलना की कि “हर भाषा के लिए 10 घंटे, 5 घंटे और 3 घंटे के प्रशिक्षण डेटा से कितना अंतर पड़ता है।”

निष्कर्ष पहले।

• हर भाषा के लिए 10 घंटे, 5 घंटे या 3 घंटे—अंत में लगभग कोई अंतर नहीं था। सबसे अच्छे चरण पर अक्षर त्रुटि दर तीनों में 0.7% रही (32 वाक्यों में से 28 पूरी तरह मेल खाते थे)
• प्रशिक्षण की प्रगति भी लगभग एक जैसी थी। जापानी और अंग्रेज़ी दोनों में 3,000–5,000 स्टेप्स पर, और क्रोएशियाई में भी 10,000 स्टेप्स पर लगभग स्क्रिप्ट के मुताबिक पढ़ा गया
• केवल 3 घंटे वाले संस्करण में, बीच में “Bok!（नमस्ते）” को “Blok” पढ़ने की आदत कुछ समय तक रही। सबसे अच्छी स्थिति में स्थिर होने में थोड़ा अधिक समय लगा
• तकनीकी शब्दों से भरे वाक्यों में भी कोई अंतर नहीं निकला। यह सोचकर आज़माया कि 10 घंटे वाला संस्करण शब्दावली में बेहतर होगा, लेकिन तीनों लगभग एक जैसे थे
• तकनीकी शब्दों की गलतियाँ तीनों मॉडलों में एक ही शब्दों पर एक जैसी आईं। अंग्रेज़ी में कारण मॉडल नहीं, बल्कि अक्षरों को उच्चारण-चिह्नों में बदलने वाला हिस्सा (शब्दकोश) था

मैंने क्या किया

मॉडल：पिछली बार वाला ही Matcha-TTS (लगभग 1.83 करोड़ पैरामीटर) और तरंगरूप में वापस बदलने वाला Vocos (लगभग 1.35 करोड़ पैरामीटर)। वक्ता 20 वर्ष की उम्र का एक पुरुष था।

तीन भाषाएँ बोलवाने की तरकीब：मॉडल का इनपुट तीनों भाषाओं के लिए समान उच्चारण-चिह्न (IPA) रखा। “ʦ” और “ʨ” जैसे, भाषाओं के बीच समान रहने वाले ध्वनि-चिह्नों को एक ही प्रतीक दिया गया। कौन-सी भाषा बोलनी है, यह निर्दिष्ट करने के लिए उस संख्या का उपयोग किया गया है जो मूलतः वक्ता बदलने के लिए होती है, उसे “भाषा संख्या” के रूप में इस्तेमाल करके।

• क्रोएशियाई：यह भाषा लगभग लिखे हुए के अनुसार ही पढ़ी जाती है, इसलिए अक्षरों को एक-एक करके उच्चारण-चिह्नों में बदलना पर्याप्त है
• जापानी：OpenJTalk से पाठ और स्वराघात निकाला, और जहाँ ध्वनि की ऊँचाई बढ़ती या घटती है वहाँ चिह्न लगाए
• अंग्रेज़ी：g2p_en (CMU उच्चारण शब्दकोश और शब्दकोश में न होने वाले शब्दों का उच्चारण अनुमानित करने वाला छोटा मॉडल) से उच्चारण-चिह्न बनाए

प्रशिक्षण डेटा：एक ही पुरुष की आवाज़ में तीनों भाषाओं के संवादों की पंक्तियाँ पढ़ी गईं। वाक् पहचान से स्क्रिप्ट से तुलना करके गलत पढ़े गए अंश हटाने के बाद की मात्रा थी: क्रोएशियाई 9.4 घंटे, जापानी 9.7 घंटे और अंग्रेज़ी 8.3 घंटे (कुल लगभग 27 घंटे)। इसे “10 घंटे वाला संस्करण” कहा गया।

इसके बाद हर भाषा से ठीक 5 घंटे (कुल 15 घंटे) यादृच्छिक रूप से निकाले गए डेटा को “5 घंटे वाला संस्करण” कहा, और 3-3 घंटे (कुल 9 घंटे, लगभग 5,800 क्लिप) वाले को “3 घंटे वाला संस्करण”। बाकी सभी सेटिंग्स (मॉडल का आकार, बैच आकार और 60,000 स्टेप्स) बिल्कुल समान रखीं। स्टेप्स की संख्या समान होने के कारण, डेटा जितना कम होगा, उतनी ही बार उसी ऑडियो को देखा जाएगा (3 घंटे वाला संस्करण, 10 घंटे वाले का लगभग 3 गुना)।

प्रशिक्षण एक RTX 4090 पर किया गया और हर रन में 6 से 8.5 घंटे लगे।

प्रशिक्षण के दौरान की आवाज़ों की तुलना

प्रशिक्षण डेटा में शामिल न होने वाले निम्न वाक्यों को, प्रशिक्षण के बीच के मॉडलों से संश्लेषित किया गया।

• अंग्रेज़ी：Tomorrow we're going to the seaside, and the day after we'll visit my grandma in Split.
• जापानी：明日は海に行って、あさってはおばあちゃんの家に遊びに行く予定です。
• क्रोएशियाई：Sutra idemo na more, a prekosutra ćemo posjetiti baku u Splitu.

बाएँ से क्रमशः 10 घंटे वाला, 5 घंटे वाला और 3 घंटे वाला संस्करण है।

चरण	10 घंटे संस्करण	5 घंटे संस्करण	3 घंटे संस्करण
1,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
2,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
3,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
4,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
5,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
10,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
20,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
30,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
40,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
50,000	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई

सुनने पर लगा कि 1,000 स्टेप्स पर सभी अभी भी अस्पष्ट थे। लेकिन अंग्रेज़ी में लगभग समझ आ रहा था कि क्या कहा जा रहा है। जापानी में संस्करणों के बीच अंतर था: 5 घंटे वाले संस्करण में, 1,000 स्टेप्स के समय ही इस वाक्य का एक-एक अक्षर सही लिप्यंतरण हुआ। दूसरी ओर, 10 घंटे वाले संस्करण में यह 「お世話になってみてください」 और 3 घंटे वाले संस्करण में 「明日までのメディックで…」 बन गया—यानी बिल्कुल अलग वाक्य।

3,000〜5,000 स्टेप्स पर जापानी और अंग्रेज़ी, सभी संस्करणों में स्क्रिप्ट के अनुसार पढ़े जाने लगे। क्रोएशियाई कुछ देर से पहुँची; पहला शब्द 「Sutra（कल）」, जो 「Sve」, 「Straj」 या 「Satra」 जैसा सुनाई देता था, लगभग 5,000〜10,000 स्टेप्स तक बना रहा। 20,000 स्टेप्स के बाद सुनकर भी तीनों के बीच अंतर लगभग समझ में नहीं आया।

आंकड़ों में देखें

मूल्यांकन के वाक्यों (क्रोएशियाई के 14, जापानी के 9 और अंग्रेज़ी के 9 वाक्य; सभी प्रशिक्षण डेटा से बाहर) को Whisper large-v3 से लिप्यंतरित किया और स्क्रिप्ट के साथ अक्षर त्रुटि दर (CER) मापी। जापानी में वर्तनी के भिन्न रूपों (जैसे 「あさって」 और 「明後日」) को त्रुटि न माना जाए, इसके लिए तुलना से पहले उन्हें काताकाना उच्चारण में बदल दिया गया।

पहले, तीन भाषाओं के कुल 32 वाक्यों का औसत। कोष्ठक में पूर्ण मिलान की संख्या है।

स्टेप्स	10 घंटे संस्करण	5 घंटे संस्करण	3 घंटे संस्करण
1,000	43.8%（2）	41.9%（2）	43.8%（1）
2,000	16.6%（7）	17.7%（12）	17.6%（9）
3,000	7.7%（16）	6.2%（16）	9.9%（14）
4,000	5.9%（21）	3.7%（19）	2.7%（25）
5,000	2.1%（23）	3.3%（20）	4.5%（23）
10,000	1.4%（24）	1.1%（23）	1.7%（24）
15,000	0.8%（26）	0.7%（26）	2.0%（24）
20,000	0.7%（27）	0.8%（26）	0.9%（25）
30,000	0.7%（28）	0.8%（26）	1.7%（26）
40,000	1.2%（25）	1.7%（26）	0.7%（26）
45,000	3.9%（25）	0.7%（28）	0.7%（27）
50,000	0.7%（28）	0.7%（26）	0.7%（28）
60,000	1.8%（26）	0.8%（27）	1.9%（25）

भाषा के अनुसार देखें तो यह परिणाम मिलता है (क्रोएशियाई / जापानी / अंग्रेज़ी)।

स्टेप्स	10 घंटे संस्करण	5 घंटे संस्करण	3 घंटे संस्करण
5,000	2.8 / 1.2 / 1.8%	6.5 / 1.2 / 0.3%	2.0 / 1.8 / 11.1%
10,000	2.2 / 1.2 / 0.3%	1.7 / 1.2 / 0.3%	2.9 / 1.2 / 0.3%
20,000	0.8 / 1.2 / 0.0%	0.9 / 1.2 / 0.0%	0.8 / 1.8 / 0.3%
30,000	0.7 / 1.2 / 0.0%	1.1 / 1.2 / 0.0%	3.2 / 1.2 / 0.0%
50,000	0.7 / 1.2 / 0.0%	0.9 / 1.2 / 0.0%	0.7 / 1.2 / 0.0%

• सबसे अच्छा परिणाम 10 घंटे वाले संस्करण में 30,000 और 50,000 स्टेप्स पर, 5 घंटे वाले संस्करण में 45,000 स्टेप्स पर, और 3 घंटे वाले संस्करण में 50,000 स्टेप्स पर मिला। सभी में कुल 0.7% था, 32 में से 28 वाक्य पूर्णतः मेल खाते थे, और तीनों एक ही मुकाम पर पहुँचे
• जिन स्थानों पर बीच में आंकड़े उछलते हैं, वहाँ लगभग हमेशा एक शब्द का अंतर है। उदाहरण के लिए, 「Bok!（नमस्ते）」 को 「Bog」 और 「Hi!」 को 「Bye.」 के रूप में सुना गया; 1〜2 शब्दों वाले छोटे वाक्यों में केवल एक अक्षर का अंतर भी त्रुटि दर को बहुत बढ़ा देता है
• 3 घंटे वाले संस्करण में 15,000〜35,000 स्टेप्स पर क्रोएशियाई 3% के स्तर पर है। सामग्री देखने पर, लगभग सभी त्रुटियाँ एक ही वाक्य में 「Bok!」 को 「Blok」 पढ़ने की थीं। 50,000 स्टेप्स पर यह ठीक हो गया था। डेटा कम होने पर, छोटे वाक्यों की ऐसी आदत निकलने में समय लगता है
• जापानी का 1.2% हर बार केवल एक वाक्य की वजह से है, जिसमें 「しーっ、静かに。」 का 「しーっ」, 「し」 के रूप में लिप्यंतरित हुआ। यह दीर्घ स्वर को कितना लिखना है, इसका प्रश्न है; सुनने पर वह ठीक से 「しーっ」 ही कह रहा है
• क्रोएशियाई में बची हुई त्रुटियाँ भी अधिकतर लिप्यंतरण पक्ष की आदत हैं, जैसे 「prekosutra（परसों）」 को 「preko sutra」 के रूप में दो शब्दों में लिखना

10 घंटे, 5 घंटे और 3 घंटे के अंतर त्रुटि-सीमा के भीतर थे। कम-से-कम “क्या स्क्रिप्ट के अनुसार पढ़ सकता है” के मामले में, हर भाषा के लिए 3 घंटे पर्याप्त थे। हालांकि 3 घंटे वाले संस्करण को स्थिर होने में अधिक समय लगा, इसलिए इसे 40,000 स्टेप्स या उससे अधिक तक चलाना बेहतर है।

विशेषज्ञ शब्दों से भरे वाक्यों में तुलना

अगर सामान्य बातचीत के लिए कम डेटा भी पर्याप्त है, तो क्या प्रशिक्षण डेटा में लगभग न आने वाले कठिन शब्दों के लिए अधिक डेटा बेहतर होगा? यह सोचकर चिकित्सा, आईटी, कानून, रसायन और वित्त जैसे क्षेत्रों के विशेषज्ञ शब्दों से भरे 10 वाक्य बनाए और उन्हें तीन भाषाओं में पढ़वाया। सभी मॉडलों में 50,000 स्टेप्स वाला मॉडल इस्तेमाल किया गया।

1. चूंकि मायोकार्डियल इन्फार्क्शन का संदेह है, कृपया तुरंत कोरोनरी एंजियोग्राफी और थ्रोम्बोलाइटिक थेरेपी की तैयारी करें।
   • हमें मायोकार्डियल इन्फार्क्शन का संदेह है, इसलिए कृपया तुरंत कोरोनरी एंजियोग्राफी और थ्रोम्बोलाइटिक थेरेपी तैयार करें।
   • हमें मायोकार्डियल इन्फार्क्शन का संदेह है, इसलिए तुरंत कोरोनरी एंजियोग्राफी और थ्रोम्बोलाइटिक थेरेपी तैयार करें।
2. यह एल्गोरिदम कॉन्वोल्यूशनल न्यूरल नेटवर्क और रिकरेंट आर्किटेक्चर को मिलाने वाली संरचना है।
   • यह एल्गोरिदम कॉन्वोल्यूशनल न्यूरल नेटवर्क को रिकरेंट आर्किटेक्चर के साथ जोड़ता है।
   • यह एल्गोरिदम कॉन्वोल्यूशनल न्यूरल नेटवर्क को रिकरेंट आर्किटेक्चर के साथ जोड़ता है।
3. प्रतिवादी के वकील ने साक्ष्य के अवैध संग्रह का हवाला देते हुए अपील में बरी किए जाने की दलील दी।
   • प्रतिवादी के वकील ने साक्ष्य के अवैध अधिग्रहण का हवाला देते हुए अपील में बरी किए जाने की दलील दी।
   • प्रतिवादी के वकील ने अवैध रूप से प्राप्त साक्ष्यों के कारण अपीलीय कार्यवाही में बरी किए जाने का अनुरोध किया।
4. प्रकाश संश्लेषण में, क्लोरोप्लास्ट की थायलाकोइड झिल्ली में इलेक्ट्रॉन परिवहन श्रृंखला कार्य करती है और एडेनोसिन ट्राइफॉस्फेट का संश्लेषण होता है।
   • प्रकाश संश्लेषण में, क्लोरोप्लास्ट की थायलाकोइड झिल्ली की इलेक्ट्रॉन परिवहन श्रृंखला एडेनोसिन ट्राइफॉस्फेट उत्पन्न करती है।
   • प्रकाश संश्लेषण में, क्लोरोप्लास्ट की थायलाकोइड झिल्ली में इलेक्ट्रॉन स्थानांतरण श्रृंखला एडेनोसिन ट्राइफॉस्फेट उत्पन्न करती है।
5. क्वांटम उलझाव का उपयोग करने वाला क्रिप्टोग्राफिक कुंजी वितरण सिद्धांततः किसी भी जासूसी को पहचान सकता है।
   • उलझाव पर आधारित क्वांटम कुंजी वितरण सिद्धांततः किसी भी जासूसी को पहचान सकता है।
   • उलझाव पर आधारित क्वांटम कुंजी वितरण सिद्धांततः हर प्रकार की जासूसी का पता लगा सकता है।
6. मुद्रास्फीति दर बढ़ने के बाद केंद्रीय बैंक ने नीतिगत ब्याज दर बढ़ाने और मात्रात्मक सख्ती शुरू करने का निर्णय लिया।
   • बढ़ती मुद्रास्फीति के जवाब में केंद्रीय बैंक ने ब्याज दरें बढ़ाने और मात्रात्मक सख्ती शुरू करने का निर्णय लिया।
   • मुद्रास्फीति बढ़ने के कारण केंद्रीय बैंक ने ब्याज दरें बढ़ाने और मात्रात्मक सख्ती शुरू करने का निर्णय लिया।
7. घुटने के ऑस्टियोआर्थराइटिस वाले मरीजों को हायल्यूरोनिक एसिड के अंतःसंधिक इंजेक्शन और फिजियोथेरेपी साथ में दी जाती है।
   • घुटने के ऑस्टियोआर्थराइटिस वाले मरीजों को फिजियोथेरेपी के साथ अंतःसंधिक हायल्यूरोनिक एसिड इंजेक्शन दिए जाते हैं।
   • घुटने के ऑस्टियोआर्थराइटिस वाले मरीजों को फिजियोथेरेपी के साथ हायल्यूरोनिक एसिड के अंतःसंधिक इंजेक्शन दिए जाते हैं।
8. यह पुल प्रीस्ट्रेस्ड कंक्रीट के गर्डरों पर प्रबलित कंक्रीट के डेक को सहारा देता है।
   • यह पुल प्रीस्ट्रेस्ड कंक्रीट गर्डरों पर प्रबलित कंक्रीट डेक को सहारा देता है।
   • यह पुल प्रीस्ट्रेस्ड कंक्रीट बीमों पर प्रबलित कंक्रीट स्लैब को सहारा देता है।
9. क्रिप्टोकरेंसी एक्सचेंज सहमति एल्गोरिदम से वितरित लेजर की अखंडता की जांच करता है।
   • क्रिप्टोकरेंसी एक्सचेंज सहमति एल्गोरिदम के साथ अपने वितरित लेजर की अखंडता की पुष्टि करता है।
   • क्रिप्टोकरेंसी एक्सचेंज सहमति एल्गोरिदम से वितरित मुख्य बही की पूर्णता की जांच करता है।
10. एंटीबायोटिक का अत्यधिक उपयोग बहु-दवा प्रतिरोधी बैक्टीरिया के उभरने का कारण बनता है और अस्पताल-अर्जित संक्रमणों का जोखिम बढ़ाता है।

• एंटीबायोटिक का अत्यधिक उपयोग बहु-दवा प्रतिरोधी बैक्टीरिया को जन्म देता है और अस्पताल-अर्जित संक्रमणों का जोखिम बढ़ाता है।
• एंटीबायोटिक का अत्यधिक उपयोग बहु-प्रतिरोधी बैक्टीरिया का कारण बनता है और अस्पताल संक्रमणों का जोखिम बढ़ाता है。

वाक्य	10 घंटे वाला संस्करण	5 घंटे वाला संस्करण	3 घंटे वाला संस्करण
1. मायोकार्डियल इन्फार्क्शन का संदेह है, इसलिए कृपया तत्काल कोरोनरी एंजियोग्राफी और थ्रोम्बोलाइटिक थेरेपी की तैयारी करें।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
2. यह एल्गोरिदम कन्वोल्यूशनल न्यूरल नेटवर्क और रिकरेंट नेटवर्क को मिलाकर बनी संरचना है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
3. अभियुक्त के वकील ने साक्ष्य के अवैध संग्रह के आधार पर अपील में बरी किए जाने की दलील दी।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
4. प्रकाश संश्लेषण में, क्लोरोप्लास्ट की थायलाकोइड झिल्ली पर इलेक्ट्रॉन परिवहन शृंखला कार्य करती है और एडेनोसिन ट्राइफॉस्फेट का संश्लेषण होता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
5. क्वांटम उलझाव का उपयोग करने वाला क्रिप्टोग्राफिक कुंजी-वितरण सिद्धांततः जासूसी को पहचान सकता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
6. केंद्रीय बैंक ने मुद्रास्फीति दर में वृद्धि के मद्देनज़र नीतिगत ब्याज दर बढ़ाने और मात्रात्मक सख्ती का निर्णय लिया।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
7. घुटने के ऑस्टियोआर्थराइटिस वाले रोगियों के लिए हायल्यूरोनिक एसिड के अंतःसंधि इंजेक्शन और फिजियोथेरेपी का संयुक्त उपयोग किया जाता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
8. यह पुल प्रबलित कंक्रीट के डेक स्लैब को प्रीस्ट्रेस्ड कंक्रीट के गर्डरों से सहारा देता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
9. क्रिप्टोकरेंसी एक्सचेंज वितरित लेजर की अखंडता को सहमति-निर्माण एल्गोरिदम से सत्यापित करता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई
10. एंटीबायोटिक का अत्यधिक उपयोग बहु-दवा प्रतिरोधी बैक्टीरिया के उभरने को बढ़ावा देता है और अस्पताल-अधिग्रहित संक्रमण के जोखिम को बढ़ाता है।	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई	अंग्रेज़ी जापानी क्रोएशियाई

नतीजे।

	क्रोएशियाई	जापानी	अंग्रेज़ी	30 वाक्यों में पूर्ण मिलान
10 घंटे वाला संस्करण	0.6%	1.5%	4.6%	17
5 घंटे वाला संस्करण	0.3%	1.0%	3.9%	20
3 घंटे वाला संस्करण	0.5%	1.0%	4.1%	18

नतीजा यह नहीं निकला कि 10 घंटे वाला संस्करण बेहतर है। तीनों लगभग बराबर थे, बल्कि 5 घंटे वाला संस्करण थोड़ा बेहतर था। एहतियात के तौर पर 10 घंटे और 5 घंटे वाले संस्करणों को 60,000 स्टेप वाले मॉडल में भी मापा, तो 10 घंटे वाले का 1.9% और 5 घंटे वाले का 2.0% निकला और क्रम उलट गया। यानी, यह अंतर संयोगवश उतार-चढ़ाव है, और यह नहीं कहा जा सकता कि कौन बेहतर है। केवल 3 घंटे वाले संस्करण में, GPU दूसरे काम से व्यस्त था, इसलिए संश्लेषण और प्रतिलेखन CPU पर किया गया। उस हद तक परिस्थितियाँ थोड़ी अलग थीं।

दिलचस्प बात गलतियों की प्रकृति थी।

• अंग्रेज़ी के “cryptocurrency” को तीनों मॉडलों में “Kripke-Kunershi”, “Kripke-Kinoshi”, “Kripik-Innershi” जैसा सुना गया
• “intra-articular”, “multidrug-resistant”, और “angiography” भी तीनों मॉडलों में एक ही तरह बिगड़े
• जापानी के “冠動脈造影” को तीनों में “〜増え” और “床版” को तीनों में “障板” के रूप में ट्रांसक्राइब किया गया
• क्रोएशियाई के “pooštravanje（कसाव）” को सभी मॉडलों में “poštravanje” जैसा सुना गया

अलग-अलग मात्रा के डेटा पर प्रशिक्षित मॉडल एक ही शब्दों में एक ही तरह गलतियाँ करते हैं। अंग्रेज़ी के मामले में कारण साफ़ था: मॉडल नहीं, बल्कि अक्षरों को ध्वन्यात्मक प्रतीकों में बदलने वाला भाग।

इस बार का मॉडल अक्षरों को सीधे नहीं पढ़ता, बल्कि ध्वन्यात्मक प्रतीकों को पढ़ता है। अंग्रेज़ी में, शब्दकोश में न होने वाले शब्दों का उच्चारण g2p_en अनुमान लगाता है। वास्तव में जाँच करने पर, “cryptocurrency” को “क्रिपाक्यूनार्शी” के करीब ध्वन्यात्मक प्रतीकों में और “angiography” को बीच में n वाले ध्वन्यात्मक प्रतीकों में बदला गया था। मॉडल को दिए गए ध्वन्यात्मक प्रतीकों को बस उसी तरह आवाज़ में बदलता है, इसलिए प्रशिक्षण डेटा 10 घंटे का हो या 3 घंटे का, वह उसी जगह गलती करता है।

जापानी में मामला थोड़ा अलग है। OpenJTalk की रीडिंग “床版（ショーバン）” और “冠動脈造影（カンドーミャクゾーエー）” के लिए सही थी। “床版” का “障板” बनना, उसी उच्चारण वाले दूसरे कांजी का उपयोग है, इसलिए उच्चारण के लिहाज़ से वह सही है। “造影” का “増え” बनना इस वजह से हो सकता है कि Whisper ने दुर्लभ शब्द को किसी परिचित शब्द की ओर खींच लिया हो, या मॉडल का उच्चारण ढीला हो; इस बार की माप-पद्धति से इनमें भेद नहीं किया जा सकता। फिर भी, यहाँ भी तीनों मॉडलों ने एक ही तरह गलतियाँ कीं।

अर्थात, इस व्यवस्था में कम-से-कम अंग्रेज़ी के तकनीकी शब्दों की मज़बूती प्रशिक्षण डेटा की मात्रा से नहीं, बल्कि उच्चारण शब्दकोश से तय होती है। तकनीकी शब्दों में मज़बूत बनाना हो, तो डेटा बढ़ाने के बजाय शब्दकोश में शब्द दर्ज करना तेज़ है।

सारांश

• तीन भाषाएँ एक छोटे मॉडल (कुल लगभग 3.2 करोड़ पैरामीटर) से बुलवाई जा सकीं
• प्रशिक्षण डेटा हर भाषा के लिए 10 घंटे, 5 घंटे या 3 घंटे होने पर भी, पढ़ने की शुद्धता अंततः लगभग समान रही। 3 घंटे वाले संस्करण को स्थिर होने में थोड़ा अधिक समय लगा
• तकनीकी शब्दों में भी कोई अंतर नहीं निकला। गलतियाँ उच्चारण शब्दकोश की ओर से हो रही थीं, और डेटा की मात्रा से ठीक नहीं होतीं

डेटा बनाना समय और पैसा दोनों लेता है, इसलिए पहले हर भाषा के लिए 3 घंटे का डेटा बनाकर देखना, और कमी लगे तो बढ़ाना, ठीक लगता है। अगली बार इस नतीजे के आधार पर भाषाओं की संख्या 10 तक बढ़ाने का इरादा है। लेकिन इस बार केवल यह मापा गया कि “क्या कहा जा रहा है”। आवाज़ की स्वाभाविकता और भावनाओं की व्यापकता जैसे वे पहलू जिन्हें अक्षर त्रुटि दर से नहीं मापा जा सकता, उनमें अधिक डेटा लाभदायक हो सकता है। उसे कान से जाँचना चाहूँगा।