ما هو نموذج معالجة اللغة الطبيعية BERT وكيف يختلف عن GPT؟

أصبحت أدوات الذكاء الاصطناعي مثل ChatGPT شائعة بشكل لا يصدق منذ إصدارها. تعمل هذه الأدوات على دفع حدود معالجة اللغة الطبيعية (NLP) ، مما يسهل على الذكاء الاصطناعي إجراء المحادثات ومعالجة اللغة تمامًا مثل أي شخص حقيقي.

كما تعلم ، يعتمد ChatGPT على نموذج المحولات التوليدية (GPT). ومع ذلك ، ليس هذا هو النموذج الوحيد المدرب مسبقًا المتاح.

في عام 2018 ، طور المهندسون في Google BERT (تمثيل التشفير ثنائي الاتجاه من المحولات) ، وهو نموذج تعليمي عميق تم تدريبه مسبقًا ومصمم من أجل فهم سياق الكلمات في الجملة ، مما يسمح لها بأداء مهام مثل تحليل المشاعر ، والإجابة على الأسئلة ، والتعرف على الكيانات المسماة بدرجة عالية دقة.

ما هو بيرت؟

BERT هو نموذج تعلم عميق تم تطويره بواسطة Google AI Research يستخدم التعلم غير الخاضع للإشراف لفهم استفسارات اللغة الطبيعية بشكل أفضل. يستخدم النموذج بنية محولات لتعلم التمثيلات ثنائية الاتجاه لبيانات النص ، مما يسمح له بفهم سياق الكلمات بشكل أفضل داخل جملة أو فقرة.

هذا يجعل من السهل على الآلات تفسير لغة الإنسان كما يتحدث بها في الحياة اليومية. من المهم الإشارة إلى أن أجهزة الكمبيوتر وجدت تاريخياً صعوبة في معالجة اللغة ، وخاصة فهم السياق.

على عكس نماذج معالجة اللغة الأخرى ، تم تدريب BERT على أداء أكثر من 11 مهمة شائعة في البرمجة اللغوية العصبية ، مما يجعلها خيارًا شائعًا للغاية في دوائر التعلم الآلي.

عند مقارنتها بنماذج المحولات الشائعة الأخرى مثل GPT-3 ، تتمتع BERT بميزة مميزة: فهي ثنائية الاتجاه ، وعلى هذا النحو ، فهي قادرة على تقييم السياق من اليسار إلى اليمين ومن اليمين إلى اليسار. تأخذ GPT-3.5 و GPT-4 في الاعتبار السياق من اليسار إلى اليمين فقط ، بينما يلبي BERT كلاهما.

تستخدم نماذج اللغة مثل GPT سياقًا أحادي الاتجاه لتدريب النموذج ، مما يسمح ChatGPT لأداء عدة مهام. بعبارات بسيطة ، حللت هذه النماذج سياق إدخال النص من اليسار إلى اليمين أو ، في بعض الحالات ، من اليمين إلى اليسار. ومع ذلك ، فإن هذا النهج أحادي الاتجاه له قيود عندما يتعلق الأمر بفهم النص ، مما يتسبب في عدم الدقة في المخرجات الناتجة.

يعني هذا أساسًا أن BERT يحلل السياق الكامل للجملة قبل تقديم إجابة. ومع ذلك ، من المناسب الإشارة إلى أن GPT-3 قد تم تدريبه على مجموعة نصية أكبر بكثير (45 تيرابايت) مقارنة بـ BERT (3 تيرابايت).

BERT هو نموذج لغوي مقنع

الشيء المهم الذي يجب معرفته هنا هو أن BERT يعتمد على التقنيع لفهم سياق الجملة. عند معالجة جملة ، تزيل أجزاء منها وتعتمد على النموذج للتنبؤ بالفجوات واستكمالها.

هذا يسمح لها "بالتنبؤ" بالسياق ، بشكل أساسي. في الجمل حيث يمكن أن يكون لكلمة واحدة معنيين مختلفين ، فإن هذا يعطي نماذج اللغة المقنعة ميزة مميزة.

كيف يعمل بيرت؟

تم تدريب BERT على مجموعة بيانات تزيد عن 3.3 مليار كلمة (بالاعتماد على ويكيبيديا لما يصل إلى 2.5 مليار كلمة) و BooksCorpus من Google لـ 800 مليون كلمة.

يتيح السياق الثنائي الاتجاه الفريد لـ BERT المعالجة المتزامنة للنص من اليسار إلى اليمين والعكس صحيح. يعزز هذا الابتكار فهم النموذج للغة البشرية ، مما يسمح له بفهم العلاقات المعقدة بين الكلمات وسياقها.

وضع عنصر ثنائية الاتجاه BERT كنموذج محول ثوري ، مما أدى إلى تحسينات ملحوظة في مهام البرمجة اللغوية العصبية. والأهم من ذلك ، أنه يساعد أيضًا في تحديد البراعة المطلقة للأدوات التي تستخدمها الذكاء الاصطناعي (AI) لمعالجة اللغة.

لا تعود فعالية BERT إلى ثنائية الاتجاه فقط ولكن أيضًا بسبب كيفية تدريبها مسبقًا. تتألف مرحلة ما قبل التدريب لـ BERT من خطوتين أساسيتين ، وهما نموذج اللغة المقنعة (MLM) والتنبؤ بالجمل التالية (NSP).

بينما تخفي معظم أساليب ما قبل التدريب عناصر التسلسل الفردية ، يستخدم BERT الامتيازات والرهون البحرية لإخفاء نسبة مئوية من رموز الإدخال بشكل عشوائي في جملة أثناء التدريب. يجبر هذا النهج النموذج على التنبؤ بالكلمات المفقودة ، مع الأخذ في الاعتبار السياق من كلا جانبي الكلمة المقنعة - ومن ثم ثنائية الاتجاه.

بعد ذلك ، خلال NSP ، يتعلم BERT التنبؤ بما إذا كانت الجملة X تتبع حقًا الجملة Y. هذه القدرة تدرب النموذج على فهم علاقات الجملة والسياق العام ، والذي بدوره يساهم في فعالية النموذج.

صقل BERT

بعد التدريب المسبق ، انتقل BERT إلى مرحلة الضبط الدقيق ، حيث تم تكييف النموذج مع مهام البرمجة اللغوية العصبية المختلفة ، بما في ذلك تحليل المشاعر ، والتعرف على الكيانات المسماة ، وأنظمة الإجابة على الأسئلة. يتضمن الضبط الدقيق التعلم الخاضع للإشراف ، والاستفادة من مجموعات البيانات المصنفة لتحسين أداء النموذج لمهام محددة.

يعتبر نهج تدريب BERT "عالميًا" لأنه يسمح لنفس بنية النموذج بمعالجة المهام المختلفة دون الحاجة إلى تعديلات واسعة النطاق. هذا التنوع هو سبب آخر لشعبية BERT بين عشاق البرمجة اللغوية العصبية.

على سبيل المثال ، يستخدم محرك بحث Google BERT للتنبؤ باستعلامات البحث ولإدخال الكلمات المفقودة ، خاصة فيما يتعلق بالسياق.

ما هي الاستخدامات الشائعة لـ BERT؟

بينما تستخدم Google BERT في محرك البحث الخاص بها ، فإن لديها العديد من التطبيقات الأخرى:

تحليل المشاعر

تحليل المشاعر هو تطبيق أساسي في البرمجة اللغوية العصبية يتعامل مع تصنيف البيانات النصية بناءً على المشاعر والآراء المضمنة فيها. هذا أمر بالغ الأهمية في العديد من المجالات ، من مراقبة رضا العملاء إلى توقع اتجاهات سوق الأسهم.

يتألق BERT في هذا المجال ، حيث يلتقط الجوهر العاطفي للمدخلات النصية ويتنبأ بدقة بالمشاعر الكامنة وراء الكلمات.

تلخيص النص

نظرًا لطبيعته ثنائية الاتجاه وآليات الانتباه ، يمكن لـ BERT استيعاب كل ذرة من السياق النصي دون فقد المعلومات الأساسية. والنتيجة هي ملخصات عالية الجودة ومتماسكة تعكس بدقة المحتوى المهم لمستندات الإدخال.

التعرف على الكيان المحدد

يعد التعرف على الكيان المُسمى (NER) جانبًا حيويًا آخر من جوانب البرمجة اللغوية العصبية التي تهدف إلى تحديد وتصنيف الكيانات مثل الأسماء والمؤسسات والمواقع داخل البيانات النصية.

يعتبر BERT تحويليًا حقًا في فضاء NER ، ويرجع ذلك أساسًا إلى قدرته على التعرف على أنماط الكيانات المعقدة وتصنيفها - حتى عند تقديمها ضمن هياكل نصية معقدة.

أنظمة الإجابة على الأسئلة

إن فهم BERT للسياق والتأريض في أجهزة التشفير ثنائية الاتجاه يجعلها بارعة في استخراج إجابات دقيقة من مجموعات البيانات الكبيرة.

يمكنه تحديد سياق السؤال بشكل فعال وتحديد الإجابة الأكثر ملاءمة داخل النص البيانات ، وهي قدرة يمكن تسخيرها لروبوتات الدردشة المتقدمة ومحركات البحث وحتى الافتراضية مساعدين.

الترجمة الآلية عبر BERT

الترجمة الآلية هي مهمة أساسية في البرمجة اللغوية العصبية قام BERT بتحسينها. تساهم بنية المحولات والفهم ثنائي الاتجاه للسياق في كسر الحواجز في الترجمة من لغة إلى أخرى.

مع التركيز بشكل أساسي على اللغة الإنجليزية ، يمكن تطبيق متغيرات BERT متعددة اللغات (mBERT) على الجهاز مشاكل الترجمة للعديد من اللغات ، مما يفتح الأبواب لمنصات واتصالات أكثر شمولاً الوسائط.

يواصل الذكاء الاصطناعي والتعلم الآلي تخطي حدود جديدة

ليس هناك شك في أن نماذج مثل BERT تغير اللعبة وتفتح آفاقًا جديدة للبحث. ولكن الأهم من ذلك ، أنه يمكن دمج هذه الأدوات بسهولة في مهام سير العمل الحالية.