बर्ट (भाषा मॉडल)

ट्रांसफार्मर से द्विदिश एनकोडर प्रतिनिधित्व ( बीईआरटी) (अंग्रेजी: Bidirectional Encoder Representations from Transformers या BERT ) Google के शोधकर्ताओं द्वारा 2018 में पेश किए गए भाषा मॉडल का एक परिवार है। 1810.04805v2 cs.CL Jacob Devlin Ming-Wei Chang BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 11 October 2018 http://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing 2 November 2018 Google AI Blog en 2019-11-27 2020 के एक साहित्य सर्वेक्षण ने निष्कर्ष निकाला कि "एक साल से कुछ अधिक समय में, बर्ट प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रयोगों में एक सर्वव्यापी आधार रेखा बन गया है, जिसमें मॉडल का विश्लेषण और सुधार करने वाले 150 से अधिक शोध प्रकाशन शामिल हैं।" Rogers Anna Kovaleva Olga Rumshisky Anna 2020 A Primer in BERTology: What We Know About How BERT Works https://aclanthology.org/2020.tacl-1.54 Transactions of the Association for Computational Linguistics 8 842–866 2002.12327 10.1162/tacl_a_00349 बर्ट को मूल रूप से अंग्रेजी भाषा में दो मॉडल आकारों में लागू किया गया था: 1810.04805v2 cs.CL Jacob Devlin Ming-Wei Chang BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 11 October 2018 (1) बर्ट बेस : 12 एनकोडर जिसमें 12 द्विदिशात्मक स्व-ध्यान प्रमुख हैं, कुल 110 मिलियन पैरामीटर, और (2) बर्ट बड़ा : 16 द्विदिशात्मक स्व-ध्यान वाले 24 एनकोडर। कुल 340 मिलियन मापदंडों पर ध्यान दें। दोनों मॉडलों को टोरंटो बुककॉर्पस 1506.06724 cs.CV Yukun Zhu Ryan Kiros Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books 2015Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books". pp. 19–27. arXiv:1506.06724 [cs.CV]. (800 मिलियन शब्द) और अंग्रेजी विकिपीडिया (2,500 मिलियन शब्द) पर पूर्व-प्रशिक्षित किया गया था।