जीपीटी-2

उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर 2 ( जीपीटी-2 ) ओपन एआई द्वारा एक बड़ा भाषा मॉडल है और जीपीटी मॉडल की उनकी मूलभूत श्रृंखला में दूसरा है। GPT-2 को बुककॉर्पस पर पूर्व-प्रशिक्षित किया गया था, विभिन्न शैलियों की 7,000 से अधिक अप्रकाशित फिक्शन पुस्तकों का डेटासेट, और 8 मिलियन वेब पेजों के डेटासेट पर प्रशिक्षित किया गया था। इसे फरवरी 2019 में आंशिक रूप से जारी किया गया था, इसके बाद 5 नवंबर, 2019 को 1.5-बिलियन-पैरामीटर मॉडल की पूर्ण रिलीज हुई GPT-2 को GPT-1 के "प्रत्यक्ष स्केल-अप" के रूप में बनाया गया था, जिसमें इसके पैरामीटर गिनती और इसके प्रशिक्षण डेटासेट के आकार दोनों में दस गुना वृद्धि हुई थी। यह एक सामान्य-उद्देश्यीय शिक्षार्थी है और विभिन्न कार्यों को करने की इसकी क्षमता एक क्रम में अगले आइटम की सटीक भविष्यवाणी करने की इसकी सामान्य क्षमता का परिणाम थी, जिसने इसे ग्रंथों का अनुवाद करने, किसी विषय के बारे में सवालों के जवाब देने में सक्षम बनाया। एक पाठ से, एक बड़े पाठ से अनुच्छेदों को सारांशित करें, और कभी-कभी मनुष्यों से अप्रभेद्य स्तर पर पाठ आउटपुट उत्पन्न करें, हालांकि लंबे अनुच्छेद उत्पन्न करते समय यह दोहराव या निरर्थक हो सकता है। इसका स्थान GPT-3 और GPT-4 मॉडल ने ले लिया, जो अब खुला स्रोत नहीं हैं। GPT-2 में, अपने पूर्ववर्ती GPT-1 और उसके उत्तराधिकारियों जीपीटी-3 और जीपीटी-4 की तरह, एक उत्पादक पूर्व-प्रशिक्षित ट्रांसफॉर्मर वास्तुकला है, जो एक गहरे तंत्रिका नेटवर्क को लागू करता है, विशेष रूप से एक ट्रांसफार्मर मॉडल, जो पुराने के बजाय ध्यान का उपयोग करता है पुनरावृत्ति- और कनवल्शन-आधारित आर्किटेक्चर। ध्यान तंत्र मॉडल को इनपुट टेक्स्ट के उन खंडों पर चयनात्मक रूप से ध्यान केंद्रित करने की अनुमति देता है जो सबसे अधिक प्रासंगिक होने की भविष्यवाणी करते हैं। यह मॉडल बहुत अधिक समानांतरीकरण की अनुमति देता है, और RNN/CNN/LSTM-आधारित मॉडल के लिए पिछले बेंचमार्क से बेहतर प्रदर्शन करता है।