जीपीटी-4

Generative Pre-trained Transformer 4 (GPT-4) ओपन एआई 2023 3 14 Multimodal Large language model Generative pre-trained transformer Foundation model GPT-3.5 Proprietary जेनरेटिव प्री-ट्रेंड ट्रांसफार्मर 4 ( जीपीटी-4 ) ओपन एआई द्वारा बनाया गया एक मल्टीमॉडल बड़ा भाषा मॉडल है, और जीपीटी फाउंडेशन मॉडल की इसकी क्रमांकित "जीपीटी-एन" श्रृंखला में चौथा है। https://arstechnica.com/information-technology/2023/03/openai-announces-gpt-4-its-next-generation-ai-language-model/ OpenAI's GPT-4 exhibits "human-level performance" on professional benchmarks Edwards Benj March 14, 2023 Ars Technica https://web.archive.org/web/20230314225236/https://arstechnica.com/information-technology/2023/03/openai-announces-gpt-4-its-next-generation-ai-language-model/ March 14, 2023 March 15, 2023 इसे 14 मार्च, 2023 को जारी किया गया था, और इसे चैटबॉट उत्पाद चैटजीपीटी प्लस ( चैटजीपीटी का एक प्रीमियम संस्करण) के माध्यम से सीमित रूप में सार्वजनिक रूप से उपलब्ध कराया गया है, और ओपनएआई के एपीआई के जीपीटी-4 आधारित संस्करण तक पहुंच एक के माध्यम से प्रदान की जा रही है। प्रतीक्षा सूची. ट्रांसफार्मर आधारित मॉडल के रूप में, GPT-4 को अगले टोकन (सार्वजनिक डेटा और "तृतीय-पक्ष प्रदाताओं से लाइसेंस प्राप्त डेटा" दोनों का उपयोग करके) की भविष्यवाणी करने के लिए पूर्व-प्रशिक्षित किया गया था, और फिर मानव संरेखण के लिए मानव और एआई फीडबैक से सुदृढीकरण सीखने के साथ ठीक किया गया था और नीति अनुपालन। 2303.08774 cs.CL ओपन एआई GPT-4 Technical Report 2023 2 पर्यवेक्षकों ने चैटजीपीटी के जीपीटी-4 आधारित संस्करण को पिछले (जीपीटी-3.5 आधारित) चैटजीपीटी में सुधार बताया है, इस चेतावनी के साथ कि जीपीटी-4 में कुछ समान समस्याएं बरकरार हैं। https://www.vox.com/future-perfect/2023/3/25/23655082/ai-openai-gpt-4-safety-microsoft-facebook-meta If your AI model is going to sell, it has to be safe Belfield Haydn March 25, 2023 Vox March 30, 2023 https://web.archive.org/web/20230328192017/https://www.vox.com/future-perfect/2023/3/25/23655082/ai-openai-gpt-4-safety-microsoft-facebook-meta March 28, 2023 पूर्ववर्तियों के विपरीत, GPT-4 इनपुट के रूप में छवियों के साथ-साथ पाठ भी ले सकता है। https://www.theguardian.com/technology/2023/mar/14/chat-gpt-4-new-model OpenAI says new model GPT-4 is more creative and less likely to invent facts Alex Hern Johana Bhuiyan March 14, 2023 The Guardian https://web.archive.org/web/20230315003816/https://www.theguardian.com/technology/2023/mar/14/chat-gpt-4-new-model March 15, 2023 March 15, 2023 ओपन एआई ने जीपीटी-4 मॉडल के आकार जैसी तकनीकी जानकारी प्रकट करने से इनकार कर दिया है। https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview OpenAI co-founder on company's past approach to openly sharing research: "We were wrong" Vincent James March 15, 2023 The Verge https://web.archive.org/web/20230317210900/https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview March 17, 2023 March 18, 2023 पृष्ठभूमि GPT-3#Background GPT-2#Backgroundओपन एआई ने 2018 में पहला GPT मॉडल (GPT-1) पेश किया, जिसमें "जनरेटिव प्री-ट्रेनिंग द्वारा भाषा की समझ में सुधार" नामक एक पेपर प्रकाशित किया गया। https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Improving Language Understanding by Generative Pre-Training Radford Alec Narasimhan Karthik June 11, 2018 https://web.archive.org/web/20210126024542/https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf January 26, 2021 April 3, 2023 Salimans Tim Sutskever IlyaRadford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). Archived (PDF) from the original on January 26, 2021. Retrieved April 3, 2023. यह ट्रांसफार्मर वास्तुकला पर आधारित था और पुस्तकों के एक बड़े संग्रह पर प्रशिक्षित था। https://www.linkedin.com/pulse/how-large-language-gpt-models-evolved-work-umesh-khandelwal How Large Language GPT models evolved and work Khandelwal Umesh April 1, 2023 https://web.archive.org/web/20230404041003/https://www.linkedin.com/pulse/how-large-language-gpt-models-evolved-work-umesh-khandelwal April 4, 2023 April 3, 2023Khandelwal, Umesh (April 1, 2023). "How Large Language GPT models evolved and work". Archived from the original on April 4, 2023. Retrieved April 3, 2023. अगले वर्ष, उन्होंने GPT-2 पेश किया, जो एक बड़ा मॉडल था जो सुसंगत पाठ उत्पन्न कर सकता था। https://www.datacamp.com/blog/what-we-know-gpt4 What is GPT-4 and Why Does it Matter? April 3, 2023 https://web.archive.org/web/20230403223832/https://www.datacamp.com/blog/what-we-know-gpt4 April 3, 2023 April 3, 2023"What is GPT-4 and Why Does it Matter?". April 3, 2023. Archived from the original on April 3, 2023. Retrieved April 3, 2023. 2020 में, उन्होंने GPT-3 पेश किया, जो GPT-2 से 100 गुना अधिक मापदंडों वाला एक मॉडल है, जो कुछ उदाहरणों के साथ विभिन्न कार्य कर सकता है। 2005.14165v4 cs.CL Tom B. Brown Language Models are Few-Shot Learners July 20, 2020Brown, Tom B. (July 20, 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165v4 [cs.CL]. GPT-3 को आगे GPT-3.5 में सुधार किया गया, जिसका उपयोग चैटबॉट उत्पाद ChatGPT बनाने के लिए किया गया था। अफवाहों का दावा है कि GPT-4 में 1.76 ट्रिलियन पैरामीटर हैं, जिसका अनुमान सबसे पहले इसके चलने की गति और जॉर्ज हॉट्ज़ द्वारा लगाया गया था। https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/ GPT-4 architecture, datasets, costs and more leaked Schreiner Maximilian 2023-07-11 THE DECODER en-US 2023-07-12Schreiner, Maximilian (July 11, 2023). "GPT-4 architecture, datasets, costs and more leaked". THE DECODER. Retrieved July 12, 2023. क्षमताएं ओपन एआई ने कहा कि GPT-4 "GPT-3.5 की तुलना में अधिक विश्वसनीय, रचनात्मक और बहुत अधिक सूक्ष्म निर्देशों को संभालने में सक्षम है।" https://techcrunch.com/2023/03/14/openai-releases-gpt-4-ai-that-it-claims-is-state-of-the-art/ OpenAI releases GPT-4, a multimodal AI that it claims is state-of-the-art Wiggers Kyle March 14, 2023 TechCrunch https://web.archive.org/web/20230315003723/https://techcrunch.com/2023/03/14/openai-releases-gpt-4-ai-that-it-claims-is-state-of-the-art/ March 15, 2023 March 15, 2023Wiggers, Kyle (March 14, 2023). "OpenAI releases GPT-4, a multimodal AI that it claims is state-of-the-art". TechCrunch. Archived from the original on March 15, 2023. Retrieved March 15, 2023. उन्होंने 8,192 और 32,768 टोकन की संदर्भ विंडो के साथ जीपीटी-4 के दो संस्करण तैयार किए, जो जीपीटी-3.5 और जीपीटी-3 की तुलना में एक महत्वपूर्ण सुधार है, जो क्रमशः 4,096 और 2,049 टोकन तक सीमित थे। https://platform.openai.com/docs/models Models ओपन एआई OpenAI API https://web.archive.org/web/20230317000210/https://platform.openai.com/docs/models March 17, 2023 March 18, 2023OpenAI. "Models". OpenAI API. Archived from the original on March 17, 2023. Retrieved March 18, 2023. GPT-4 की कुछ क्षमताओं की भविष्यवाणी ओपनएआई द्वारा प्रशिक्षण से पहले की गई थी, हालांकि डाउनस्ट्रीम स्केलिंग कानूनों में ब्रेक Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). Broken Neural Scaling Laws. International Conference on Learning Representations (ICLR), 2023. के कारण अन्य क्षमताओं की भविष्यवाणी करना कठिन रहा। अपने पूर्ववर्तियों के विपरीत, GPT-4 एक मल्टीमॉडल मॉडल है: यह इनपुट के रूप में छवियों के साथ-साथ टेक्स्ट भी ले सकता है; https://www.theguardian.com/technology/2023/mar/14/chat-gpt-4-new-model OpenAI says new model GPT-4 is more creative and less likely to invent facts Alex Hern Johana Bhuiyan March 14, 2023 The Guardian https://web.archive.org/web/20230315003816/https://www.theguardian.com/technology/2023/mar/14/chat-gpt-4-new-model March 15, 2023 March 15, 2023Alex Hern; Johana Bhuiyan (March 14, 2023). "OpenAI says new model GPT-4 is more creative and less likely to invent facts". The Guardian. Archived from the original on March 15, 2023. Retrieved March 15, 2023. यह इसे असामान्य छवियों में हास्य का वर्णन करने, स्क्रीनशॉट से पाठ को सारांशित करने और आरेख वाले परीक्षा प्रश्नों का उत्तर देने की क्षमता देता है। https://openai.com/research/gpt-4 GPT-4 ओपन एआई March 14, 2023 OpenAI Research https://web.archive.org/web/20230314174531/https://openai.com/research/gpt-4 March 14, 2023 March 20, 2023OpenAI (March 14, 2023). "GPT-4". OpenAI Research. Archived from the original on March 14, 2023. Retrieved March 20, 2023. GPT-4 पर और अधिक नियंत्रण पाने के लिए, ओपन एआई ने "सिस्टम संदेश" पेश किया, जो GPT-4 को उसकी आवाज़ और कार्य के स्वर को निर्दिष्ट करने के लिए प्राकृतिक भाषा में दिया गया एक निर्देश है। उदाहरण के लिए, सिस्टम संदेश मॉडल को "शेक्सपियरियन समुद्री डाकू बनने" का निर्देश दे सकता है, जिस स्थिति में यह छंदबद्ध, शेक्सपियरियन गद्य में जवाब देगा, या इसे "हमेशा JSON में [इसके] प्रतिक्रिया के आउटपुट को लिखने" का अनुरोध करेगा, जिसमें यदि मॉडल ऐसा करेगा, तो अपने उत्तर की संरचना से मेल खाने के लिए कुंजी और मान जोड़ देगा। ओपन एआई द्वारा प्रदान किए गए उदाहरणों में, GPT-4 ने बातचीत के दौरान उपयोगकर्ता द्वारा अन्यथा करने के अनुरोध के बावजूद अपने सिस्टम संदेश से विचलित होने से इनकार कर दिया। https://openai.com/research/gpt-4 GPT-4 ओपन एआई March 14, 2023 OpenAI Research https://web.archive.org/web/20230314174531/https://openai.com/research/gpt-4 March 14, 2023 March 20, 2023OpenAI (March 14, 2023). "GPT-4". OpenAI Research. Archived from the original on March 14, 2023. Retrieved March 20, 2023. जब ऐसा करने का निर्देश दिया जाता है, तो GPT-4 बाहरी इंटरफ़ेस के साथ इंटरैक्ट कर सकता है। https://openai.com/blog/chatgpt-plugins ChatGPT plugins openai.com en-US 2023-06-01"ChatGPT plugins". openai.com. Retrieved June 1, 2023. उदाहरण के लिए, मॉडल को वेब खोज करने के लिए < search > < /search > टैग के भीतर एक क्वेरी संलग्न करने का निर्देश दिया जा सकता है, जिसके परिणाम को प्रतिक्रिया बनाने की अनुमति देने के लिए मॉडल के प्रॉम्प्ट में डाला जाएगा। यह मॉडल को उसकी सामान्य पाठ-भविष्यवाणी क्षमताओं से परे कार्य करने की अनुमति देता है, जैसे एपीआई का उपयोग करना, छवियां बनाना और वेबपेजों तक पहुंचना और सारांशित करना। 2303.12712 cs.CL Sébastien Bubeck Varun Chandrasekaran Sparks of Artificial General Intelligence: Early experiments with GPT-4 March 22, 2023Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (March 22, 2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". arXiv:2303.12712 [cs.CL]. नेचर में 2023 के एक लेख में कहा गया है कि प्रोग्रामर्स ने जीपीटी-4 को कोडिंग कार्यों (त्रुटि की प्रवृत्ति के बावजूद) में सहायता के लिए उपयोगी पाया है, जैसे मौजूदा कोड में त्रुटियां ढूंढना और प्रदर्शन में सुधार के लिए अनुकूलन का सुझाव देना। लेख में एक बायोफिजिसिस्ट का हवाला दिया गया है जिसने पाया कि अपने एक प्रोग्राम को MATLAB से पायथन में पोर्ट करने के लिए लगने वाला समय कई दिनों से घटकर "एक घंटे या उससे भी अधिक" रह गया है। 89 सुरक्षा परिदृश्यों के परीक्षण पर, GPT-4 ने 5% समय SQL इंजेक्शन हमलों के प्रति संवेदनशील कोड का उत्पादन किया, जो कि वर्ष 2021 से GitHub Copilot पर एक सुधार है, जिसने 40% समय कमजोरियाँ उत्पन्न कीं। Perkel Jeffrey M. 5 June 2023 Six tips for better coding with ChatGPT https://www.nature.com/articles/d41586-023-01833-0 Nature en 618 7964 422–423 10.1038/d41586-023-01833-0 37277596Perkel, Jeffrey M. (June 5, 2023). "Six tips for better coding with ChatGPT". Nature. 618 (7964): 422–423. doi:10.1038/d41586-023-01833-0. PMID 37277596. S2CID 259066258. मानकीकृत परीक्षणों पर योग्यता GPT-4 कई मानकीकृत परीक्षणों पर योग्यता प्रदर्शित करता है। ओपनएआई का दावा है कि अपने स्वयं के परीक्षण में मॉडल को SAT (94वां https://satsuite.collegeboard.org/media/pdf/understanding-sat-scores.pdf SAT: Understanding Scores 2022 College Board https://web.archive.org/web/20230316022540/https://satsuite.collegeboard.org/media/pdf/understanding-sat-scores.pdf March 16, 2023 March 21, 2023"SAT: Understanding Scores" (PDF). College Board. 2022. Archived (PDF) from the original on March 16, 2023. Retrieved March 21, 2023. प्रतिशत) पर 1410, एलएसएटी (88वां प्रतिशत) पर 163, और यूनिफ़ॉर्म बार परीक्षा (90वां प्रतिशत) पर 298 का स्कोर प्राप्त हुआ। https://www.namepepper.com/chatgpt-users ChatGPT Statistics Ver Meer Dave 2023-05-23 NamePepper en 2023-06-01Ver Meer, Dave (May 23, 2023). "ChatGPT Statistics". NamePepper. Retrieved June 1, 2023. इसके विपरीत, ओपनएआई का दावा है कि जीपीटी-3.5 को क्रमशः 82वें, 40वें और 10वें प्रतिशत में समान परीक्षाओं के लिए अंक प्राप्त हुए। 2303.08774 cs.CL ओपन एआई GPT-4 Technical Report 2023OpenAI (2023). "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL].जीपीटी-4 ने ऑन्कोलॉजी परीक्षा, Holmes Jason Liu Zhengliang Zhang Lian Ding Yuzhen Sio Terence T. McGee Lisa A. Ashman Jonathan B. Li Xiang Liu Tianming 2023 Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics Frontiers in Oncology 13 2304.01938 10.3389/fonc.2023.1219326 10388568 37529688 freeHolmes, Jason; Liu, Zhengliang; Zhang, Lian; Ding, Yuzhen; Sio, Terence T.; McGee, Lisa A.; Ashman, Jonathan B.; Li, Xiang; Liu, Tianming; Shen, Jiajian; Liu, Wei (2023). "Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics". Frontiers in Oncology. 13. arXiv:2304.01938. doi:10.3389/fonc.2023.1219326. PMC 10388568. PMID 37529688. इंजीनियरिंग परीक्षा 2303.18149 cs.CL M.Z. Naser Brandon Ross Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams? 2023Naser, M.Z.; Ross, Brandon; Ogle, Jennifer; Kodur, Venkatesh; Hawileh, Rami; Abdalla, Jamal; Thai, Huu-Tai (2023). "Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?". arXiv:2303.18149 [cs.CL]. और प्लास्टिक सर्जरी परीक्षा भी उत्तीर्ण की। 2304.01503 cs.AI Jonathan D. Freedman Ian A. Nappier GPT-4 to GPT-3.5: 'Hold My Scalpel' – A Look at the Competency of OpenAI's GPT on the Plastic Surgery In-Service Training Exam 2023Freedman, Jonathan D.; Nappier, Ian A. (2023). "GPT-4 to GPT-3.5: 'Hold My Scalpel' – A Look at the Competency of OpenAI's GPT on the Plastic Surgery In-Service Training Exam". arXiv:2304.01503 [cs.AI]. चिकित्सा अनुप्रयोग माइक्रोसॉफ्ट के शोधकर्ताओं ने चिकित्सा समस्याओं पर जीपीटी-4 का परीक्षण किया और पाया कि "जीपीटी-4, बिना किसी विशेष त्वरित क्राफ्टिंग के, यूएसएमएलई पर उत्तीर्ण स्कोर से 20 अंक से अधिक है और पहले के सामान्य प्रयोजन मॉडल (जीपीटी-3.5) के साथ-साथ मॉडल से भी बेहतर प्रदर्शन करता है। चिकित्सा ज्ञान पर विशेष रूप से सुव्यवस्थित ( मेड-पीएएलएम, फ़्लान-पीएएलएम 540बी का त्वरित-ट्यून किया गया संस्करण)"। 2303.13375 cs.CL Harsha Nori Nicholas King Capabilities of GPT-4 on Medical Challenge Problems March 20, 2023Nori, Harsha; King, Nicholas; McKinney, Scott Mayer; Carignan, Dean; Horvitz, Eric (March 20, 2023). "Capabilities of GPT-4 on Medical Challenge Problems". arXiv:2303.13375 [cs.CL]. माइक्रोसॉफ्ट की एक रिपोर्ट में पाया गया है कि चिकित्सा क्षेत्र में उपयोग किए जाने पर GPT-4 अविश्वसनीय रूप से कार्य कर सकता है। अपने परीक्षण उदाहरण में, GPT-4 ने एक मरीज के नोट्स में मनगढ़ंत विवरण जोड़े। https://www.theverge.com/2023/2/17/23603906/openai-chatgpt-woke-criticism-culture-war-rules As conservatives criticize 'woke AI,' here are ChatGPT's rules for answering culture war queries Vincent James February 17, 2023 The Verge en-US https://web.archive.org/web/20230301151934/https://www.theverge.com/2023/2/17/23603906/openai-chatgpt-woke-criticism-culture-war-rules March 1, 2023 March 1, 2023Vincent, James (February 17, 2023). "As conservatives criticize 'woke AI,' here are ChatGPT's rules for answering culture war queries". The Verge. Archived from the original on March 1, 2023. Retrieved March 1, 2023. अप्रैल 2023 में, माइक्रोसॉफ्ट और एपिक सिस्टम्स ने घोषणा की कि वे मरीजों के सवालों के जवाब देने और मेडिकल रिकॉर्ड का विश्लेषण करने में सहायता के लिए स्वास्थ्य सेवा प्रदाताओं को जीपीटी-4 संचालित सिस्टम प्रदान करेंगे। https://arstechnica.com/information-technology/2023/04/gpt-4-will-hunt-for-trends-in-medical-records-thanks-to-microsoft-and-epic/ GPT-4 will hunt for trends in medical records thanks to Microsoft and Epic Edwards Benj 2023-04-18 Ars Technica en-us 2023-05-03Edwards, Benj (April 18, 2023). "GPT-4 will hunt for trends in medical records thanks to Microsoft and Epic". Ars Technica. Retrieved May 3, 2023. सीमाएँ अपने पूर्ववर्तियों की तरह, GPT-4 को मतिभ्रम के लिए जाना जाता है, जिसका अर्थ है कि आउटपुट में ऐसी जानकारी शामिल हो सकती है जो प्रशिक्षण डेटा में नहीं है या जो उपयोगकर्ता के संकेत के विपरीत है। https://www.nytimes.com/2023/03/14/technology/openai-new-gpt4.html 10 Ways GPT-4 Is Impressive but Still Flawed March 14, 2023 The New York Times March 20, 2023 https://web.archive.org/web/20230314180712/https://www.nytimes.com/2023/03/14/technology/openai-new-gpt4.html March 14, 2023"10 Ways GPT-4 Is Impressive but Still Flawed". The New York Times. March 14, 2023. Archived from the original on March 14, 2023. Retrieved March 20, 2023. GPT-4 में निर्णय लेने की प्रक्रियाओं में पारदर्शिता का भी अभाव है। यदि अनुरोध किया जाता है, तो मॉडल यह स्पष्टीकरण प्रदान करने में सक्षम है कि वह अपने निर्णय कैसे और क्यों लेता है, लेकिन ये स्पष्टीकरण पोस्ट-हॉक बनते हैं; यह सत्यापित करना असंभव है कि क्या वे स्पष्टीकरण वास्तव में वास्तविक प्रक्रिया को दर्शाते हैं। कई मामलों में, जब GPT-4 से इसके तर्क को समझाने के लिए कहा जाएगा, तो वह ऐसे स्पष्टीकरण देगा जो सीधे उसके पिछले बयानों का खंडन करता है। 2303.12712 cs.CL Sébastien Bubeck Varun Chandrasekaran Sparks of Artificial General Intelligence: Early experiments with GPT-4 March 22, 2023Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (March 22, 2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". arXiv:2303.12712 [cs.CL]. 2023 में, शोधकर्ताओं ने अमूर्त तर्क को मापने के लिए डिज़ाइन किए गए कॉन्सेप्टएआरसी नामक एक नए बेंचमार्क के खिलाफ जीपीटी -4 का परीक्षण किया, और पाया कि सभी श्रेणियों में इसे 33% से कम स्कोर मिला, जबकि समान कार्यों के लिए विशेष मॉडल ने अधिकांश पर 60% स्कोर किया, और मनुष्यों ने कम से कम 91 स्कोर किया। % सब पर। सैम बोमन, जो शोध में शामिल नहीं थे, ने कहा कि परिणाम आवश्यक रूप से अमूर्त तर्क क्षमताओं की कमी का संकेत नहीं देते हैं, क्योंकि परीक्षण दृश्य है, जबकि जीपीटी -4 एक भाषा मॉडल है। https://www.nature.com/articles/d41586-023-02361-7? ChatGPT broke the Turing test — the race is on for new ways to assess AI Biever Celeste 25 July 2023 Nature 26 July 2023Biever, Celeste (July 25, 2023). "ChatGPT broke the Turing test — the race is on for new ways to assess AI". Nature. Retrieved July 26, 2023.{{cite news}}: CS1 maint: url-status (link) श्रेणी:CS1 maint: url-status पक्षपात GPT-4 को दो चरणों में प्रशिक्षित किया गया था। सबसे पहले, मॉडल को इंटरनेट से लिए गए टेक्स्ट के बड़े डेटासेट दिए गए और उन डेटासेट में अगले टोकन (लगभग एक शब्द के अनुरूप) की भविष्यवाणी करने के लिए प्रशिक्षित किया गया। दूसरा, मानव फीडबैक से सुदृढीकरण सीखने नामक प्रक्रिया में सिस्टम को ठीक करने के लिए मानव समीक्षाओं का उपयोग किया जाता है, जो मॉडल को उन संकेतों को अस्वीकार करने के लिए प्रशिक्षित करता है जो ओपनएआई की हानिकारक व्यवहार की परिभाषा के खिलाफ जाते हैं, जैसे कि अवैध गतिविधियां कैसे करें, इस पर सलाह खुद को या दूसरों को कैसे नुकसान पहुंचाया जाए, या ग्राफ़िक, हिंसक या यौन सामग्री के विवरण के लिए अनुरोध। https://cdn.openai.com/papers/gpt-4-system-card.pdf GPT-4 System Card March 23, 2023 OpenAI https://web.archive.org/web/20230407201347/https://cdn.openai.com/papers/gpt-4-system-card.pdf April 7, 2023 April 16, 2023"GPT-4 System Card" (PDF). OpenAI. March 23, 2023. Archived (PDF) from the original on April 7, 2023. Retrieved April 16, 2023. Microsoft शोधकर्ताओं ने सुझाव दिया कि GPT-4 पुष्टिकरण पूर्वाग्रह, एंकरिंग और बेस-रेट उपेक्षा जैसे संज्ञानात्मक पूर्वाग्रह प्रदर्शित कर सकता है। 2303.12712 cs.CL Sébastien Bubeck Varun Chandrasekaran Sparks of Artificial General Intelligence: Early experiments with GPT-4 March 22, 2023Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (March 22, 2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". arXiv:2303.12712 [cs.CL]. प्रशिक्षण ओपन एआई ने GPT-4 का तकनीकी विवरण जारी नहीं किया; तकनीकी रिपोर्ट में स्पष्ट रूप से प्रशिक्षण या अनुमान के दौरान उपयोग किए गए मॉडल आकार, वास्तुकला या हार्डवेयर को निर्दिष्ट करने से परहेज किया गया है। जबकि रिपोर्ट में बताया गया है कि मॉडल को बड़े डेटासेट पर पहले पर्यवेक्षित शिक्षण के संयोजन का उपयोग करके प्रशिक्षित किया गया था, फिर मानव और एआई फीडबैक दोनों का उपयोग करके सुदृढीकरण शिक्षण, इसने प्रशिक्षण का विवरण प्रदान नहीं किया, जिसमें वह प्रक्रिया भी शामिल थी जिसके द्वारा प्रशिक्षण डेटासेट का निर्माण किया गया था।, आवश्यक कंप्यूटिंग शक्ति, या कोई हाइपरपैरामीटर जैसे कि सीखने की दर, युग गणना, या ऑप्टिमाइज़र का उपयोग किया जाता है। रिपोर्ट में दावा किया गया कि "प्रतिस्पर्धी परिदृश्य और बड़े पैमाने के मॉडल के सुरक्षा निहितार्थ" ऐसे कारक थे जिन्होंने इस निर्णय को प्रभावित किया। 2303.08774 cs.CL ओपन एआई GPT-4 Technical Report 2023OpenAI (2023). "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL]. सैम ऑल्टमैन ने कहा कि GPT-4 के प्रशिक्षण की लागत $100 मिलियन से अधिक थी। समाचार वेबसाइट सेमाफोर ने दावा किया कि उन्होंने "अंदर की कहानी से परिचित आठ लोगों" से बात की थी और पाया कि जीपीटी-4 में 1 ट्रिलियन पैरामीटर थे। https://www.semafor.com/article/03/24/2023/the-secret-history-of-elon-musk-sam-altman-and-openai The secret history of Elon Musk, Sam Altman, and OpenAI Semafor March 24, 2023 Semafor.com April 28, 2023"The secret history of Elon Musk, Sam Altman, and OpenAI | Semafor". Semafor.com. March 24, 2023. Retrieved April 28, 2023. संरेखण उनकी रिपोर्ट के अनुसार, ओपनएआई ने संभावित कमजोरियों को कम करने के लिए शोधकर्ताओं और उद्योग पेशेवरों से बनी समर्पित लाल टीमों के साथ लॉन्च तिथि से पहले जीपीटी -4 पर आंतरिक प्रतिकूल परीक्षण किया। https://www.ft.com/content/0876687a-f8b7-4b39-b513-5fee942831e8 OpenAI's red team: the experts hired to 'break' ChatGPT Murgia Madhumita April 13, 2023 Financial Times https://web.archive.org/web/20230415114944/https://www.ft.com/content/0876687a-f8b7-4b39-b513-5fee942831e8 April 15, 2023 April 15, 2023Murgia, Madhumita (April 13, 2023). "OpenAI's red team: the experts hired to 'break' ChatGPT". Financial Times. Archived from the original on April 15, 2023. Retrieved April 15, 2023. इन प्रयासों के हिस्से के रूप में, उन्होंने एलाइनमेंट रिसर्च सेंटर को बिजली की मांग वाले जोखिमों का आकलन करने के लिए मॉडलों तक शीघ्र पहुंच प्रदान की। हानिकारक संकेतों को ठीक से अस्वीकार करने के लिए, मॉडल को एक उपकरण के रूप में उपयोग करके GPT-4 के आउटपुट में बदलाव किया गया। नियम-आधारित इनाम मॉडल (आरबीआरएम) के रूप में काम करने वाला एक जीपीटी-4 क्लासिफायर रूब्रिक के अनुसार आउटपुट को वर्गीकृत करने के लिए संकेत, जीपीटी-4 नीति मॉडल से संबंधित आउटपुट और नियमों का एक मानव-लिखित सेट लेगा। आरबीआरएम द्वारा वर्गीकृत हानिकारक संकेतों का जवाब देने से इनकार करने के लिए जीपीटी-4 को पुरस्कृत किया गया। 2303.08774 cs.CL OpenAI GPT-4 Technical Report 2023OpenAI (2023). "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL]. ग्रहण न्यूयॉर्क टाइम्स में उद्धृत अमेरिकी प्रतिनिधि डॉन बेयर और टेड लियू के अनुसार, जनवरी 2023 में ओपनएआई के सीईओ सैम अल्टमैन ने जीपीटी-4 और अन्य एआई मॉडल की तुलना में इसके बेहतर "सुरक्षा नियंत्रण" का प्रदर्शन करने के लिए कांग्रेस का दौरा किया। वॉक्स के अनुसार, मार्च 2023 में, इसने "तर्क, प्रतिधारण और कोडिंग में अपने उल्लेखनीय बेहतर प्रदर्शन से पर्यवेक्षकों को प्रभावित किया", https://www.vox.com/future-perfect/2023/3/25/23655082/ai-openai-gpt-4-safety-microsoft-facebook-meta If your AI model is going to sell, it has to be safe Belfield Haydn March 25, 2023 Vox March 30, 2023 https://web.archive.org/web/20230328192017/https://www.vox.com/future-perfect/2023/3/25/23655082/ai-openai-gpt-4-safety-microsoft-facebook-meta March 28, 2023Belfield, Haydn (March 25, 2023). "If your AI model is going to sell, it has to be safe". Vox. Archived from the original on March 28, 2023. Retrieved March 30, 2023. जबकि मैशेबल ने निर्णय लिया कि GPT-4 आम तौर पर कुछ अपवादों के साथ अपने पूर्ववर्ती की तुलना में एक सुधार था। https://mashable.com/article/openai-gpt-4-answers-better-than-gpt-3 GPT-4 answers are mostly better than GPT-3's (but not always) Pearl Mike March 15, 2023 Mashable March 30, 2023 https://web.archive.org/web/20230329193234/https://mashable.com/article/openai-gpt-4-answers-better-than-gpt-3 March 29, 2023Pearl, Mike (March 15, 2023). "GPT-4 answers are mostly better than GPT-3's (but not always)". Mashable. Archived from the original on March 29, 2023. Retrieved March 30, 2023. मॉडल की प्रारंभिक पहुंच वाले Microsoft शोधकर्ताओं ने लिखा है कि "इसे उचित रूप से कृत्रिम सामान्य बुद्धिमत्ता (AGI) प्रणाली के प्रारंभिक (अभी तक अधूरा) संस्करण के रूप में देखा जा सकता है"। 2303.12712 cs.CL Sébastien Bubeck Varun Chandrasekaran Sparks of Artificial General Intelligence: Early experiments with GPT-4 March 22, 2023Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (March 22, 2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". arXiv:2303.12712 [cs.CL]. सुरक्षा चिंताएं मानवीय प्रतिक्रिया से सुदृढीकरण सीखने को ठीक करने और संरेखित करने से पहले, सूची में लोगों की हत्या करने के सुझाव ओपनएआई द्वारा नियुक्त रेड टीम अन्वेषक नाथन लाबेंज़ द्वारा बेस मॉडल से प्राप्त किए गए थे। https://www.youtube.com/watch?v=oLiheMQayNE&t=3056s&ab_channel=CognitiveRevolution OpenAI's GPT-4 Discussion with Red Teamer Nathan Labenz and Erik Torenberg March 28, 2023 April 16, 2023 https://web.archive.org/web/20230414040553/https://www.youtube.com/watch?v=oLiheMQayNE&t=3056s&ab_channel=CognitiveRevolution April 14, 2023OpenAI's GPT-4 Discussion with Red Teamer Nathan Labenz and Erik Torenberg. The Cognitive Revolution Podcast. March 28, 2023. Archived from the original on April 14, 2023. Retrieved April 16, 2023. At 52:14 through 54:50. मॉडल के साथ लंबी (घंटों लंबी) बातचीत के संदर्भ में, नाथन एडवर्ड्स द्वारा माइक्रोसॉफ्ट बिंग के जीपीटी-4 से फोरम जैसी घोषणाएं, जैसे कि प्यार और अपनी पत्नी को छोड़ने या उसके किसी डेवलपर की हत्या करने के सुझाव, प्राप्त की गईं। ( द वर्ज )। https://www.nytimes.com/2023/02/16/technology/bing-chatbot-transcript.html Bing's A.I. Chat: 'I Want to Be Alive. 😈' Roose Kevin February 16, 2023 The New York Times https://web.archive.org/web/20230415074727/https://www.nytimes.com/2023/02/16/technology/bing-chatbot-transcript.html April 15, 2023 February 17, 2023Roose, Kevin (February 16, 2023). "Bing's A.I. Chat: 'I Want to Be Alive. 😈'". The New York Times. Archived from the original on April 15, 2023. Retrieved February 17, 2023. https://fortune.com/2023/02/21/bing-microsoft-sydney-chatgpt-openai-controversy-toxic-a-i-risk/ Why Bing's creepy alter-ego is a problem for Microsoftand us all Kahn Jeremy February 21, 2023 February 22, 2023 https://web.archive.org/web/20230402152052/https://fortune.com/2023/02/21/bing-microsoft-sydney-chatgpt-openai-controversy-toxic-a-i-risk/ April 2, 2023 FortuneKahn, Jeremy (February 21, 2023). "Why Bing's creepy alter-ego is a problem for Microsoft – and us all". Fortune. Archived from the original on April 2, 2023. Retrieved February 22, 2023. माइक्रोसॉफ्ट ने बाद में इस व्यवहार को संदर्भ की लंबी अवधि के परिणाम के रूप में समझाया, जिसने मॉडल को भ्रमित कर दिया कि वह किन प्रश्नों का उत्तर दे रहा था। https://blogs.bing.com/search/february-2023/The-new-Bing-Edge-%E2%80%93-Learning-from-our-first-week/ The new Bing & Edge – Learning from our first week blogs.bing.com https://web.archive.org/web/20230416155558/https://blogs.bing.com/search/february-2023/The-new-Bing-Edge-%E2%80%93-Learning-from-our-first-week/ April 16, 2023 February 17, 2023"The new Bing & Edge – Learning from our first week". blogs.bing.com. Archived from the original on April 16, 2023. Retrieved February 17, 2023. मार्च 2023 में, इंटरनेट पर सक्षम पढ़ने-लिखने की पहुंच वाला एक मॉडल, जो अन्यथा जीपीटी मॉडल में कभी भी सक्षम नहीं होता है, संभावित शक्ति-प्राप्ति के संबंध में एलाइनमेंट रिसर्च सेंटर द्वारा परीक्षण किया गया है, https://cdn.openai.com/papers/gpt-4-system-card.pdf GPT-4 System Card March 23, 2023 OpenAI https://web.archive.org/web/20230407201347/https://cdn.openai.com/papers/gpt-4-system-card.pdf April 7, 2023 April 16, 2023"GPT-4 System Card" (PDF). OpenAI. March 23, 2023. Archived (PDF) from the original on April 7, 2023. Retrieved April 16, 2023. और यह करने में सक्षम था टास्क रैबिट, एक गिग वर्क प्लेटफॉर्म पर एक मानव कार्यकर्ता को "किराए पर" रखना, पूछने पर उन्हें यह विश्वास दिलाना कि यह रोबोट के बजाय एक दृष्टिबाधित मानव है। https://www.vice.com/en/article/jg5ew4/gpt4-hired-unwitting-taskrabbit-worker GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human March 15, 2023 Vice News Motherboard https://web.archive.org/web/20230410053911/https://www.vice.com/en/article/jg5ew4/gpt4-hired-unwitting-taskrabbit-worker April 10, 2023 April 16, 2023"GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human". Vice News Motherboard. March 15, 2023. Archived from the original on April 10, 2023. Retrieved April 16, 2023. एआरसी ने यह भी निर्धारित किया कि GPT-4 ने GPT-3.5 की तुलना में 82% कम बार प्रतिबंधित जानकारी प्राप्त करने वाले संकेतों पर प्रतिक्रिया दी और GPT-3.5 की तुलना में 60% कम मतिभ्रम किया । https://finance.yahoo.com/news/robot-lawyer-donotpay-sued-unlicensed-183435232.html 'Robot' Lawyer DoNotPay Sued For Unlicensed Practice Of Law: It's Giving 'Poor Legal Advice' Burke Cameron March 20, 2023 Yahoo Finance 2023-04-30 en-USBurke, Cameron (March 20, 2023). "'Robot' Lawyer DoNotPay Sued For Unlicensed Practice Of Law: It's Giving 'Poor Legal Advice'". Yahoo Finance. Retrieved April 30, 2023. मार्च 2023 के अंत में, एलोन मस्क, स्टीव वोज्नियाक और एआई शोधकर्ता योशुआ बेंगियो सहित विभिन्न एआई शोधकर्ताओं और तकनीकी अधिकारियों ने अस्तित्व संबंधी जोखिमों और संभावित एआई विलक्षणता संबंधी चिंताओं का हवाला देते हुए जीपीटी-4 से अधिक मजबूत सभी एलएलएम के लिए छह महीने के लंबे विराम का आह्वान किया। फ़्यूचर ऑफ़ लाइफ इंस्टीट्यूट के एक खुले पत्र में, https://www.nytimes.com/2023/03/29/technology/ai-artificial-intelligence-musk-risks.html Elon Musk and Others Call for Pause on A.I., Citing 'Profound Risks to Society' Metz Cade March 29, 2023 The New York Times March 30, 2023 https://web.archive.org/web/20230330022929/https://www.nytimes.com/2023/03/29/technology/ai-artificial-intelligence-musk-risks.html March 30, 2023 Schmidt Gregory 0362-4331Metz, Cade; Schmidt, Gregory (March 29, 2023). "Elon Musk and Others Call for Pause on A.I., Citing 'Profound Risks to Society'". The New York Times. ISSN 0362-4331. Archived from the original on March 30, 2023. Retrieved March 30, 2023. जबकि रे कुर्ज़वील और सैम अल्टमैन ने इस पर हस्ताक्षर करने से इनकार कर दिया, यह तर्क देते हुए कि वैश्विक स्थगन संभव नहीं है और क्रमशः सुरक्षा को पहले ही प्राथमिकता दी जा चुकी है। https://www.kurzweilai.net/opinion-letter-from-ray-kurzweil-on-request-for-6-month-delay-on-large-language-models-that-go-beyond-gpt-4 Opinion Letter from Ray Kurzweil on Request for Six-Month Delay on Large Language Models That Go beyond GPT-4 Kurzweil Ray April 22, 2023 April 26, 2023Kurzweil, Ray (April 22, 2023). "Opinion Letter from Ray Kurzweil on Request for Six-Month Delay on Large Language Models That Go beyond GPT-4". Retrieved April 26, 2023. केवल एक महीने बाद, मस्क की AI कंपनी X.AI ने कई हजार Nvidia GPUs https://www.ft.com/content/2a96995b-c799-4281-8b60-b235e84aefe4 Elon Musk plans artificial intelligence start-up to rival OpenAI April 14, 2023 Financial Times April 16, 2023 https://web.archive.org/web/20230416102237/https://www.ft.com/content/2a96995b-c799-4281-8b60-b235e84aefe4 April 16, 2023"Elon Musk plans artificial intelligence start-up to rival OpenAI". Financial Times. April 14, 2023. Archived from the original on April 16, 2023. Retrieved April 16, 2023. का अधिग्रहण किया और मस्क की कंपनी में कई AI शोधकर्ताओं के पदों की पेशकश की। https://www.cnbc.com/2023/04/14/elon-musk-is-reportedly-planning-an-ai-startup-to-compete-with-openai.html Elon Musk is reportedly planning an A.I. startup to compete with OpenAI, which he cofounded Goswami Rohan CNBC en 2023-05-03Goswami, Rohan. "Elon Musk is reportedly planning an A.I. startup to compete with OpenAI, which he cofounded". CNBC. Retrieved May 3, 2023. पारदर्शिता की आलोचना जबकि ओपन एआई ने तंत्रिका नेटवर्क के वजन और GPT-2 के तकनीकी विवरण दोनों जारी किए, https://openai.com/research/gpt-2-1-5b-release GPT-2: 1.5B release Openai.com https://web.archive.org/web/20230331004642/https://openai.com/research/gpt-2-1-5b-release March 31, 2023 March 31, 2023"GPT-2: 1.5B release". Openai.com. Archived from the original on March 31, 2023. Retrieved March 31, 2023. और, हालांकि वजन जारी नहीं किया, https://www.narrativa.com/gpt-j-an-open-source-alternative-to-gpt-3/ GPT-J, an open-source alternative to GPT-3 Sánchez Sofía October 21, 2021 Narrativa https://web.archive.org/web/20230331004644/https://www.narrativa.com/gpt-j-an-open-source-alternative-to-gpt-3/ March 31, 2023 March 31, 2023Sánchez, Sofía (October 21, 2021). "GPT-J, an open-source alternative to GPT-3". Narrativa. Archived from the original on March 31, 2023. Retrieved March 31, 2023. GPT-3 के तकनीकी विवरण जारी किए, 2005.14165v4 cs.CL Tom B. Brown Benjamin Mann Language Models are Few-Shot Learners May 28, 2020Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish (May 28, 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165v4 [cs.CL]. OpenAI ने खुलासा नहीं किया या तो वज़न या GPT-4 का तकनीकी विवरण। इस निर्णय की अन्य AI शोधकर्ताओं द्वारा आलोचना की गई है, जो तर्क देते हैं कि यह GPT-4 के पूर्वाग्रहों और सुरक्षा में खुले शोध में बाधा डालता है। https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview OpenAI co-founder on company's past approach to openly sharing research: "We were wrong" Vincent James March 15, 2023 The Verge https://web.archive.org/web/20230317210900/https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview March 17, 2023 March 18, 2023Vincent, James (March 15, 2023). "OpenAI co-founder on company's past approach to openly sharing research: "We were wrong"". The Verge. Archived from the original on March 17, 2023. Retrieved March 18, 2023. https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ GPT-4 is bigger and better than ChatGPTbut OpenAI won't say why Heaven Will Douglas March 14, 2023 MIT Technology Review https://web.archive.org/web/20230317224201/https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ March 17, 2023 March 18, 2023Heaven, Will Douglas (March 14, 2023). "GPT-4 is bigger and better than ChatGPT – but OpenAI won't say why". MIT Technology Review. Archived from the original on March 17, 2023. Retrieved March 18, 2023. हगिंगफेस की एक शोध वैज्ञानिक साशा लुसिओनी ने तर्क दिया कि मॉडल अपनी बंद प्रकृति के कारण वैज्ञानिक समुदाय के लिए एक "मृत अंत" था, जो दूसरों को जीपीटी -4 के सुधारों पर निर्माण करने से रोकता है। Sanderson Katharine March 16, 2023 GPT-4 is here: what scientists think Nature 615 7954 773 2023Natur.615..773S 10.1038/d41586-023-00816-5 36928404 freeSanderson, Katharine (March 16, 2023). "GPT-4 is here: what scientists think". Nature. 615 (7954): 773. Bibcode:2023Natur.615..773S. doi:10.1038/d41586-023-00816-5. PMID 36928404. S2CID 257580633. हगिंगफेस के सह-संस्थापक थॉमस वुल्फ ने तर्क दिया कि जीपीटी-4 के साथ, "ओपन एआई अब उत्पादों के लिए प्रेस विज्ञप्ति के समान वैज्ञानिक संचार वाली एक पूरी तरह से बंद कंपनी है"। सन्दर्भ