إن شعبية ChatGPT هي شهادة على المدى الذي وصلت إليه معالجة اللغة الطبيعية (NLP). نماذج هندسة المحولات مثل GPT-3 و GPT-4 و BERT قادرة على إجراء محادثات شبيهة بالبشر ، ويمكن حتى استخدام بعضها لكتابة تعليمات برمجية معقدة.

في حين أن GPT هي الشركة الرائدة في السوق ، كان BERT في الواقع نموذج اللغة الأول الذي ظهر على الساحة في عام 2018. ولكن ما هو. الأفضل؟ وما الفرق بين GPT و BERT؟

شرح GPT-3 و GPT-4

GPT-3 (Generative Generative Transformer 3) هو نموذج لغوي ذاتي الانحدار أطلقته شركة OpenAI في يونيو 2020. تستخدم بنية محولات مع 175 مليار معلمة ، مما يجعلها واحدة من أكبر النماذج اللغوية التي تم إنشاؤها على الإطلاق.

يمكن لـ GPT-3 إنشاء نص بلغة طبيعية ، بالإضافة إلى الإجابة على الأسئلة وتأليف الشعر وحتى كتابة مقالات كاملة. يعد ChatGPT مثالًا رئيسيًا على الذكاء الاصطناعي التوليدي مدعوم من GPT.

لقد تم اعتباره مغيرًا لقواعد اللعبة لمعالجة اللغة الطبيعية ، ولديه مجموعة واسعة من التطبيقات المحتملة ، بما في ذلك روبوتات الدردشة ، وترجمة اللغة ، وإنشاء المحتوى.

GPT-4 هو الأحدث والأكبر في سلسلة من نماذج GPT ، ويمكن الوصول إليه إذا كنت

instagram viewer
لديك اشتراك ChatGPT Plus. GPT-4 أكبر بست مرات من نموذج GPT-3 ، مع ما يقدر بحوالي تريليون معلمة ، مما يجعله أكثر دقة.

ما هو بيرت؟

بيرت (تمثيلات التشفير ثنائية الاتجاه من المحولات) هو نموذج تمثيلي للغة ما قبل التدريب يعمل على ضبط تطبيقات البرمجة اللغوية العصبية التي أنشأتها Google في عام 2018. بخلاف نماذج البرمجة اللغوية العصبية الأخرى التي تستخدم تدفق الانتباه أحادي الاتجاه ، يستخدم BERT تدفقًا ثنائي الاتجاه ، مما يسمح له باستخدام السياق من كلا الاتجاهين أثناء المعالجة.

يسمح هذا للنموذج بفهم معنى الكلمات في السياق ، وبالتالي فهم هياكل اللغة بشكل أفضل. باستخدام BERT ، يمكن لـ Google الآن تقديم نتائج بحث أكثر دقة لطلبات البحث المعقدة - لا سيما تلك التي تعتمد على حروف الجر مثل "من أجل" و "إلى" و "من".

الاختلافات الرئيسية بين GPT و BERT

الآن بعد أن أصبحت لديك فكرة موجزة عن GPT و BERT ، دعنا نناقش الاختلافات الرئيسية بين هذين النموذجين اللغويين.

بنيان

تشير الهندسة المعمارية إلى الطبقات العديدة التي تشكل نموذجًا للتعلم الآلي. تستخدم GPT و BERT نماذج مختلفة. تم تصميم BERT لتمثيل السياق ثنائي الاتجاه ، مما يعني أنه يعالج النص من اليسار إلى اليمين ومن اليمين إلى اليسار ، مما يسمح له بالتقاط السياق من كلا الاتجاهين.

في المقابل ، يقرأ البشر النص من اليسار إلى اليمين (أو من اليمين إلى اليسار ، اعتمادًا على لغتك المحلية). يتم تدريب BERT باستخدام هدف نمذجة لغة مقنعة ، حيث يتم إخفاء بعض الكلمات في الجملة ، ويتم تكليف النموذج بالتنبؤ بالكلمات المفقودة بناءً على السياق المحيط.

تسمح طريقة التدريب المسبق هذه لـ BERT بتعلم التمثيلات السياقية العميقة ، مما يجعلها فعالة للغاية لمهام البرمجة اللغوية العصبية مثل تحليل المشاعر والإجابة على الأسئلة والتعرف على الكيانات المسماة.

في المقابل ، GPT هو نموذج الانحدار التلقائي ، مما يعني أنه يولد النص بالتسلسل من اليسار إلى اليمين ، ويتنبأ بالكلمة التالية في الجملة بناءً على الكلمات التي جاءت قبلها.

يتم تدريب GPT باستخدام هدف نمذجة لغة أحادية الاتجاه (سببية) ، حيث تتنبأ بالكلمة التالية في ضوء سياق الكلمات السابقة. هذا أحد الأسباب الرئيسية لشعبية GPT في إنشاء المحتوى.

بيانات التدريب

تختلف BERT و GPT في أنواع بيانات التدريب التي يستخدمونها. يتم تدريب BERT باستخدام نموذج لغة مقنع ، مما يعني إخفاء كلمات معينة ، ويجب على الخوارزمية أن تتنبأ بالكلمة التالية على الأرجح. يساعد هذا في تدريب النموذج وجعله أكثر دقة من حيث السياق.

مثل GPT ، يتم تدريب BERT على مجموعة كبيرة من النصوص. تم تدريب الأصل على ويكيبيديا الإنجليزية و BooksCorpus ، وهي مجموعة بيانات تحتوي على ما يقرب من 11000 الكتب غير المنشورة ، والتي تصل إلى حوالي 800 مليون كلمة ، من أنواع مختلفة مثل الخيال والعلوم و الحوسبة.

يمكن تدريب BERT مسبقًا على نماذج لغة مختلفة ، مما يسمح ، كما ذكر أعلاه ، بتدريبه على تطبيقات محددة ، مع خيار إضافي لضبط هذا النموذج المدرب مسبقًا.

على العكس من ذلك ، تم تدريب GPT-3 على مجموعة بيانات WebText ، وهي مجموعة كبيرة الحجم تحتوي على صفحات ويب من مصادر مثل ويكيبيديا والكتب والمقالات. ويتضمن أيضًا نصًا من الزحف المشترك ، وهو أرشيف متاح للجمهور لمحتوى الويب. ويمكن أيضًا ضبطها لأغراض محددة.

بالنسبة إلى GPT-4 ، فإن معلومات بيانات التدريب نادرة بعض الشيء ، ولكن من المحتمل جدًا أن يتم تدريب GPT-4 على مجموعة بيانات متنوعة مماثلة ، بما في ذلك مصادر أحدث وحجم أكبر من البيانات لتحسين فهمها للغة الطبيعية وقدرتها على إنشاء ذات صلة بالسياق استجابات.

استخدم حالات

في حين أن كلاهما من نماذج البرمجة اللغوية العصبية متعددة الاستخدامات للغاية ، إلا أن اختلافاتهما المعمارية تميزهما بعدة طرق. على سبيل المثال ، يعتبر BERT أكثر قدرة على حالات الاستخدام التالية:

  1. تحليل المشاعر: يمكن أن يفهم BERT بشكل أفضل الشعور العام لنص معين لأنه يحلل الكلمات في أي من الاتجاهين.
  2. التعرف على الكيان المحدد: BERT قادر على التعرف على الكيانات المختلفة في جزء معين من النص ، بما في ذلك المواقع أو الأشخاص أو المنظمات.
  3. الاجابة عن الاسئلة: نظرًا لقدراته الفائقة على الفهم ، فإن BERT أكثر قدرة على استخراج المعلومات من النص والإجابة على الأسئلة بدقة.

نموذج التعلم GPT ليس ترهلًا أيضًا. في حين أن تحليل المشاعر قد لا يكون موطنه ، إلا أن GPT تتفوق في العديد من التطبيقات الأخرى:

  1. انشاء محتوى: إذا كنت قد استخدمت ChatGPT ، فمن المحتمل أنك تعرف هذا بالفعل. عندما يتعلق الأمر بإنشاء المحتوى ، تتفوق GPT على معظم النماذج الأخرى. ما عليك سوى كتابة موجه ، وسوف ينتج عنه استجابة متماسكة تمامًا (وإن لم تكن دقيقة دائمًا).
  2. نص التلخيص: ما عليك سوى نسخ ولصق جزء كبير من النص في ChatGPT واطلب منه تلخيصه. إنه قادر على تلخيص النص مع الحفاظ على المعلومات الأساسية.
  3. الترجمة الآلية: يمكن ضبط GPT لترجمة النص من لغة إلى أخرى ، وذلك بفضل قدرتها على إنشاء نص بناءً على السياق.

سهولة الاستخدام

على عكس ChatGPT ، الذي يتيح لأي شخص الاستفادة من نموذج GPT ، فإن BERT ليس متاحًا بسهولة. أولاً ، سيتعين عليك تنزيل ملف دفتر Jupyter لـ BERT ثم قم بإعداد بيئة تطوير باستخدام Google Colab أو TensorFlow.

إذا كنت لا تريد أن تقلق بشأن استخدام ملف دفتر Jupyter أو ليس تقنيًا ، يمكنك التفكير في استخدام ChatGPT ، وهو أمر بسيط مثل مجرد تسجيل الدخول إلى موقع ويب. ومع ذلك ، فقد غطينا أيضًا كيفية استخدام دفتر Jupyter، والتي من المفترض أن تمنحك نقطة انطلاق جيدة.

يظهر BERT و GPT قدرات الذكاء الاصطناعي

نماذج التدريب BERT و GPT هي أمثلة واضحة لما يمكن للذكاء الاصطناعي القيام به. يعد ChatGPT أكثر شيوعًا وقد أدى بالفعل إلى العديد من التطبيقات الإضافية ، مثل Auto-GPT ، والتي تعطل سير العمل وتغير وظائف الوظيفة.

في حين أن هناك شكوكًا حول تبني الذكاء الاصطناعي وما قد يعنيه بالنسبة للوظائف ، فإن إمكانية الخير موجودة أيضًا. تعمل العديد من الشركات مثل Google و OpenAI بالفعل على وضع ضوابط وزيادة تنظيم تكنولوجيا الذكاء الاصطناعي ، مما قد يبشر بالخير في المستقبل.