जीपीटी3

जेनरेटर पूर्व प्रशिक्षित ट्रांसफार्मर 3 (GPT-3) OpenAI जून 11, 2020 (बीटा) https://openai.com/blog/openai-api जीपीटी-३ या जेनेरिक प्री-ट्र्न्ड ट्रांसफ़ॉर्मर 3 (GPT-3) कृत्रिम बुद्धिमत्ता पर आधारित भाषा मॉडल है जो मानव-जैसा पाठ (टेक्स्ट) पैदा करने के लिए डीप लर्निंग का उपयोग करता है। यह सैन फ्रांसिस्को की कृत्रिम बुद्धिमत्ता अनुसंधान प्रयोगशाला द्वारा बनाई गई जीपीटी-एन शृंखला में तीसरी पीढ़ी की भाषा मॉडल है। GPT। -3 के पूर्ण संस्करण में 175 बिलियन की क्षमता है, जो कि अपने पूर्ववर्ती की तुलना में अधिक परिमाण के दो आदेशों से अधिक है। GPT-3, जो मई 2020 में पेश किया गया था, और जुलाई 2020 तक बीटा परीक्षण में है, भाग है प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पूर्व प्रशिक्षित भाषा अभ्यावेदन की प्रणाली में एक प्रवृत्ति। < सबसे बड़े भाषा मॉडल GPT-3 की रिलीज से पहले Microsoft GPT-3 की तुलना में 17 बिलियन पैरामीटर या 10 प्रतिशत से कम की क्षमता के साथ फरवरी 2020 में पेश किया गया ट्यूरिंग NLG, GPT-3 द्वारा उत्पन्न पाठ की गुणवत्ता इतनी अधिक है कि मानव द्वारा लिखित उस से अंतर करना मुश्किल है, जिसमें लाभ और जोखिम दोनों हैं। थर्टी-वन ओपनएआई के शोधकर्ताओं और इंजीनियरों ने प्रस्तुत किया। मूल 28 मई, 2020 कागज GPT-3 को पेश करता है। अपने पेपर में, उन्होंने GPT-3 के संभावित खतरों के बारे में चेतावनी दी और जोखिम को कम करने के लिए शोध करने के लिए कहा। 34 डेविड चालमर्स, एक ऑस्ट्रेलियाई दार्शनिक, ने GPT- का वर्णन किया। 3 के रूप में "सबसे दिलचस्प और महत्वपूर्ण एआई सिस्टम में से एक।" पृष्ठभूमि द इकोनॉमिस्ट 'के अनुसार, बेहतर एल्गोरिदम, शक्तिशाली कंप्यूटर, और डिजीटल डेटा में वृद्धि ने मशीन लर्निंग में एक क्रांति ला दी है, 2010 में नई तकनीकों के परिणामस्वरूप "कार्यों में तेजी से सुधार हुआ है।" "भाषा से छेड़छाड़ सहित। 0013-0613 An understanding of AI’s limitations is starting to sink in The Economist June 11, 2020 July 31, 2020 https://www.economist.com/technology-quarterly/2020/06/11/an-understanding-of-ais-limitations-is-starting-to-sink-in संरचना में हजारों या लाखों उदाहरणों का उपयोग करके सीखने के लिए प्रशिक्षित किया गया है। मस्तिष्क के तंत्रिका वास्तुकला पर आधारित एक वास्तुकला जिसका उपयोग [प्राकृतिक भाषा] में किया जाता है। प्रसंस्करण (एनएलपी) एक कृत्रिम तंत्रिका नेटवर्क] तंत्रिका नेटवर्क एक गहन शिक्षण मॉडल पर आधारित है जिसे पहली बार 2017 में पेश किया गया था - ट्रांसफार्मर (मशीन सीखने का मॉडल) | ट्रांसफार्मर। Polosukhin Illia Kaiser Lukasz Gomez AidanN. Jones Llion Uszkoreit Jakob Parmar Niki Shazeer Noam Vaswani Ashish 2017-06-12 Attention Is All You Need 1706.03762 cs.CL GPT-n मॉडल इस ट्रांसफॉर्मर-आधारित डीप लर्निंग न्यूरल नेटवर्क आर्किटेक्चर पर आधारित हैं इ। ऐसे कई एनएलपी सिस्टम हैं जो सवालों के जवाब देने, खनन करने, संगठित करने, जोड़ने, विपरीत करने, समझने और उत्पन्न करने में सक्षम हैं। Natural Language Processing 2020-07-31 https://www.thomsonreuters.com/en/artificial-intelligence/natural-language-processing.html 11 जून, 2018 को, OpenAI के शोधकर्ताओं और इंजीनियरों ने अपने जेनेरेटिव मॉडल s- भाषा के मॉडल-आर्टिफिशियल इंटेलिजेंस सिस्टम पर अपना मूल पेपर पोस्ट किया, जो डेटासेट के माध्यम से टेक्स्ट के एक विशाल और विविध कॉर्प के साथ पूर्व-प्रशिक्षित हो सकता है, एक प्रक्रिया में उन्होंने जेनरिक प्री-ट्रेनिंग (GP) कहा। 12 July 31, 2020 June 11, 2018 Radford Alec Narasimhan Karthik Salimans Tim Sutskever Ilya Improving Language Understanding by Generative Pre-Training https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf लेखकों ने बताया कि कैसे प्राकृतिक भाषा में भाषा समझने का प्रदर्शन होता है। प्रसंस्करण (एनएलपी) को जीपीटी-एन में सुधार किया गया था, "प्रत्येक विशिष्ट कार्य पर भेदभावपूर्ण फाइन-ट्यूनिंग द्वारा पीछा किए गए गैर-लेबल पाठ के एक विविध कॉर्पस पर एक भाषा मॉडल के जेनेरिक प्री-ट्रेनिंग की प्रक्रिया के माध्यम से।" यह अनसुपर्वीकृत लर्निंग | मानव पर्यवेक्षण की आवश्यकता को समाप्त कर दिया और समय-गहन हाथ से लेबल करने के लिए। फरवरी 2020 में, Microsoft ने अपनी ट्यूरिंग नेचुरल लैंग्वेज जनरेशन (T-NLG) शुरू की, जो उस समय "17 बिलियन मापदंडों पर प्रकाशित अब तक का सबसे बड़ा भाषा मॉडल था।" 1059-1028 Sterling Bruce Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG) Wired July 31, 2020 February 13, 2020 https://www.wired.com/beyond-the-beyond/2020/02/web-semantics-microsoft-project-turing-introduces-turing-natural-language-generation-t-nlg/ इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। इसने विभिन्न प्रकार के कार्यों में किसी भी अन्य भाषा मॉडल की तुलना में बेहतर प्रदर्शन किया जिसमें पाठों का सारांश और प्रश्नों का उत्तर देना शामिल था। क्षमताएं 28 मई, 2020 arXiv ओपनएआई के 31 इंजीनियरों और शोधकर्ताओं के एक समूह द्वारा छापा, जीपीटी -3 के विकास का वर्णन किया, जो तीसरी पीढ़ी का "अत्याधुनिक भाषा मॉडल" है। Sagar Ram OpenAI Releases GPT-3, The Largest Model So Far Analytics India Magazine July 31, 2020 June 3, 2020 https://analyticsindiamag.com/open-ai-gpt-3-language-model/टीम ने अपने पूर्ववर्ती GPT से परिमाण के दो आदेशों से GPT-3 की क्षमता में वृद्धि की -2, GPT-3 को अब तक का सबसे बड़ा गैर-विरल भाषा मॉडल बनाना। Brown Tom B. Mann Benjamin Ryder Nick Subbiah Melanie Kaplan Jared Dhariwal Prafulla Neelakantan Arvind Shyam Pranav Sastry Girish Askell Amanda Agarwal Sandhini Herbert-Voss Ariel Krueger Gretchen Henighan Tom Child Rewon Ramesh Aditya Ziegler Daniel M. Wu Jeffrey Winter Clemens Hesse Christopher Chen Mark Sigler Eric Litwin Mateusz Gray Scott Chess Benjamin Clark Jack Berner Christopher McCandlish Sam Radford Alec Sutskever Ilya Amodei Dario Language Models are Few-Shot Learners 2005.14165 July 22, 2020 http://arxiv.org/abs/2005.1416514 Shead Sam Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab CNBC July 31, 2020 July 23, 2020 https://www.cnbc.com/2020/07/23/openai-gpt3-explainer.html Four preprints were released between May 28 and July 22, 2020. GPT-3 की उच्च संख्या। पैरामीटर इसे छोटी क्षमता के साथ पिछले संस्करणों की तुलना में उच्च स्तर की सटीकता प्रदान करता है। Ray Tiernan June 1, 2020 OpenAI’s gigantic GPT-3 hints at the limits of language models for AI ZDNet July 31, 2020 https://www.zdnet.com/article/openais-gigantic-gpt-3-hints-at-the-limits-of-language-models-for-ai/ GPT-3 की क्षमता Microsoft ट्यूरिंग एनएलजी से दस गुना बड़ा है। GPT-3 के लिए भारित पूर्व-प्रशिक्षण डाटासेट का साठ प्रतिशत, कॉमन क्रॉल के फ़िल्टर्ड संस्करण से आता है, जिसमें 410 बिलियन बाइट पेयर एन्कोडिंग | बाइट-पेयर-इनकोडिंग टोकन शामिल हैं। अन्य स्रोत WebText2 से 19 बिलियन टोकन हैं जो कुल भारित 22% का प्रतिनिधित्व करते हैं, Books1 से 12 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, Books2 से 55 बिलियन टोकन 8% का प्रतिनिधित्व करते हैं, और विकिपीडिया से 3 बिलियन टोकन हैं। 3% का प्रतिनिधित्व करते हैं। GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह सीएसएस, JSX, पायथन, अन्य लोगों के बीच कोडिंग में सक्षम है। चूंकि GPT-3 का प्रशिक्षण डेटा सर्वव्यापी था, इसलिए इसे अलग-अलग भाषा के कार्यों के लिए और प्रशिक्षण की आवश्यकता नहीं है। 11 जून, 2020 को, OpenAI ने घोषणा की कि उपयोगकर्ता अपने उपयोगकर्ता के अनुकूल GPT-3 API तक पहुंच का अनुरोध कर सकते हैं - "एक मशीन सीखने का टूलसेट" - इस बारे में OpenAI "शक्तियों और सीमाओं का पता लगाने" में मदद करता है। नई तकनीक। https://openai.com/blog/openai-api/ June 11, 2020 OpenAI OpenAI APITechCrunch – Startup and Technology News TechCrunch June 11, 2020 July 31, 2020 https://techcrunch.com/2020/06/11/openai-makes-an-all-purpose-api-for-its-text-based-ai-capabilities/ निमंत्रण में वर्णित है कि कैसे इस एपीआई में एक सामान्य-उद्देश्य "पाठ, पाठ बाहर" इंटरफ़ेस था जो सामान्य एकल उपयोग-मामले के बजाय लगभग "किसी भी अंग्रेजी भाषा के कार्य" को पूरा कर सकता है। एक उपयोगकर्ता के अनुसार, जिनके पास OpenAI GPT-3 API की निजी प्रारंभिक रिलीज़ तक पहुंच थी, GPT-3 केवल कुछ सरल संकेतों के साथ" आश्चर्यजनक सुसंगत पाठ "लिखने में" शाब्दिक अच्छा "था। Arram GPT-3: An AI that's eerily good at writing almost anything Arram Sabeti July 31, 2020 July 9, 2020 https://arr.am/2020/07/09/gpt-3-an-ai-thats-eerily-good-at-writing-almost-anything/ 20 जुलाई 2020 https://web.archive.org/web/20200720192137/https://arr.am/2020/07/09/gpt-3-an-ai-thats-eerily-good-at-writing-almost-anything/ dead क्योंकि GPT-3 उन समाचार लेखों को "उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ताओं को मनुष्यों द्वारा लिखे गए लेखों से अलग करने में कठिनाई होती है," GPT-3 में "भाषा मॉडल के लाभकारी और हानिकारक अनुप्रयोगों को आगे बढ़ाने की क्षमता" है। "अपने 28 मई, 2020 के पेपर में, शोधकर्ताओं ने विस्तार से वर्णन किया" जीपीटी -3 के हानिकारक प्रभाव " जो "गलत सूचना, स्पैम, फ़िशिंग, प्रक्रिया का दुरुपयोग | कानूनी और सरकारी प्रक्रियाओं का दुरुपयोग, अकादमिक बेईमानी | धोखाधड़ी शैक्षणिक निबंध लेखन और सोशल इंजीनियरिंग प्रीटेक्सिंग"। लेखक जोखिम प्रबंधन | जोखिम शमन पर शोध करने के लिए इन खतरों पर ध्यान आकर्षित करते हैं। समीक्षा 29 जुलाई, 2020 में [न्यूयॉर्क टाइम्स , फरहद मंजु में समीक्षा में कहा गया है कि GPT-3-जो कंप्यूटर कोड और कविता उत्पन्न कर सकता है, साथ ही साथ गद्य भी नहीं है " अद्भुत "," डरावना ", और" विनम्र ", लेकिन यह भी" थोड़ा अधिक से अधिक भयानक " 0362-4331 Farhad Manjoo How Do You Know a Human Wrote This? The New York Times August 4, 2020 July 29, 2020 https://www.nytimes.com/2020/07/29/opinion/gpt-3-ai-automation.html? डेली नूस 'ने GPT-3 पर नौ दार्शनिकों द्वारा लेखों की एक श्रृंखला प्रस्तुत की। Weinberg Justin Philosophers On GPT-3 (updated with replies by GPT-3) July 31, 2020 July 30, 2020 http://dailynous.com/2020/07/30/philosophers-gpt-3/ ऑस्ट्रेलियाई दार्शनिक डेविड चालर्स ने GPT-3 को "सबसे दिलचस्प और महत्वपूर्ण AI में से एक" बताया सिस्टम ने कभी उत्पादन किया। David Chalmers David Chalmers Weinberg Justin GPT-3 and General Intelligence Philosophers On GPT-3 (updated with replies by GPT-3) August 4, 2020 July 30, 2020 https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers वायर्ड (पत्रिका) | वायर्ड 'में एक समीक्षा ने कहा कि जीपीटी -3 सिलिकॉन वैली के पार ठंडक भड़का रहा था।" 1059-1028 Did a Person Write This Headline, or a Machine? Tom Simonite July 31, 2020 July 22, 2020 https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/ टुवर्ड्स डेटा साइंस के एक लेख में कहा गया है कि GPT-3 को सैकड़ों अरबों शब्दों में प्रशिक्षित किया गया था और यह CSS, JSX, Python और अन्य भाषाओं में कोडिंग करने में सक्षम है। Bussler Frederik Will GPT-3 Kill Coding? Towards Data Science August 1, 2020 July 21, 2020 https://towardsdatascience.com/will-gpt-3-kill-coding-630e4518c04d 19 अगस्त 2020 https://web.archive.org/web/20200819070430/https://towardsdatascience.com/will-gpt-3-kill-coding-630e4518c04d dead नेशनल लॉ रिव्यू '' ने कहा कि GPT-3 एक "बड़ी प्रक्रिया में प्रभावशाली कदम है", OpenAI और अन्य लोगों को इस शक्ति के सभी के लिए उपयोगी एप्लिकेशन ढूंढते हुए और अधिक की ओर काम करते हुए सामान्य बुद्धिमत्ता । Theodore Claypoole New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel The National Law Review July 30, 2020 August 4, 2020 10 214 https://www.natlawreview.com/article/new-ai-tool-gpt-3-ascends-to-new-peaks-proves-how-far-we-still-need-to-travel सन्दर्भ 30em बाहरी लिंक Video: OpenAI GPT-3 - Good At Almost Everything! (Two Minute Papers) Video: GPT3: An Even Bigger Language Model (Brady_Haran#Other_YouTube_channels|Computerphile) Video: GPT-3 vs Human Brain (Lex Fridman) श्रेणी: मशीन सीखने श्रेणी: अप्रशिक्षित शिक्षा श्रेणी: गहरी शिक्षा श्रेणी: कृत्रिम बुद्धि