يجلب PaLM 2 ترقيات هائلة إلى LLM من Google ، ولكن هل هذا يعني أنه يمكنه الآن الانتقال إلى أخمص القدمين مع OpenAI's GPT-4؟

كشفت Google النقاب عن الجيل التالي من نموذج لغة Pathways (PaLM 2) في 10 مايو 2023 ، في Google I / O 2023. يتميز نموذجها اللغوي الكبير الجديد (LLM) بالكثير من التحسينات على سابقتها (PaLM) وقد يكون جاهزًا أخيرًا لمواجهة أكبر منافس لها ، GPT-4 من OpenAI.

ولكن ما مقدار التحسين الذي حققته Google؟ هل PaLM 2 هو صانع الفرق الذي تأمل Google أن يكون ، والأهم من ذلك ، مع العديد من الإمكانات المماثلة ، كيف يختلف PaLM 2 عن OpenAI's GPT-4؟

PaLM 2 مقابل. GPT-4: نظرة عامة على الأداء

تمتلئ PaLM 2 بإمكانيات جديدة ومحسنة على سابقتها. تتمثل إحدى المزايا الفريدة التي يتمتع بها PaLM 2 على GPT-4 في حقيقة أنه متوفر بأحجام أصغر خاصة بتطبيقات معينة لا تتمتع بقدر كبير من قوة المعالجة على متن الطائرة.

كل هذه الأحجام المختلفة لها نماذج أصغر خاصة بها تسمى Gecko و Otter و Bison و Unicorn ، مع كون Gecko هو الأصغر ، يليه Otter ، Bison ، وأخيراً ، Unicorn ، النموذج الأكبر.

تدعي Google أيضًا وجود تحسن في قدرات الاستدلال على GPT-4 في WinoGrande و DROP ، حيث يسحب الأول هامشًا ضيقًا في ARC-C. ومع ذلك ، هناك تحسن كبير في جميع المجالات عندما يتعلق الأمر بـ PaLM و SOTA.

instagram viewer

يعتبر PaLM 2 أفضل أيضًا في الرياضيات ، وفقًا لـ 91 صفحة من Google ورقة بحث PaLM 2 [بي دي إف]. ومع ذلك ، فإن الطريقة التي نظمت بها Google و OpenAI نتائج الاختبار تجعل من الصعب مقارنة النموذجين مباشرة. حذفت Google أيضًا بعض المقارنات ، على الأرجح لأن PaLM 2 لم يكن يعمل بنفس جودة GPT-4 تقريبًا.

في MMLU ، سجل GPT-4 86.4 ، بينما سجل PaLM 2 81.2. الشيء نفسه ينطبق على HellaSwag ، حيث سجل GPT-4 95.3 ، لكن PaLM 2 يمكن أن يجمع 86.8 فقط ، و ARC-E ، حيث حصلت GPT-4 و PaLM 2 على 96.3 و 89.7 ، على التوالى.

أكبر نموذج في عائلة PaLM 2 هو PaLM 2-L. على الرغم من أننا لا نعرف حجمه الدقيق ، إلا أننا نعلم أنه أصغر بكثير من نموذج PaLM الأكبر ولكنه يستخدم المزيد من حوسبة التدريب. بحسب جوجل، يحتوي PaLM على 540 مليار معلمة ، لذا فإن "الأصغر بشكل ملحوظ" يجب أن يضع PaLM 2 في أي مكان بين 10 إلى 300 مليار معلمة. ضع في اعتبارك أن هذه الأرقام مجرد افتراضات تستند إلى ما قالته Google في ورقة PaLM 2.

إذا كان هذا الرقم قريبًا من 100 مليار أو أقل ، فمن المرجح أن يكون PaLM 2 أصغر من حيث المعلمات من GPT-3.5. النظر في نموذج يحتمل أن يكون أقل من 100 مليار يمكن أن يذهب إلى أخمص القدمين مع GPT-4 وحتى التغلب عليه في بعض المهام هو بديع. فجرت GPT-3.5 كل شيء في البداية من الماء، بما في ذلك PaLM ، ولكن PaLM 2 حقق التعافي تمامًا.

الاختلافات في بيانات التدريب GPT-4 و PaLM 2

على الرغم من أن Google لم تكشف عن حجم مجموعة بيانات التدريب الخاصة بـ PaLM 2 ، فقد ذكرت الشركة في ورقتها البحثية أن مجموعة بيانات التدريب الخاصة بـ LLM أكبر بكثير. كما اتبعت شركة OpenAI نفس النهج عند الكشف عن GPT-4 ، دون تقديم أي مطالبات حول حجم مجموعة بيانات التدريب.

ومع ذلك ، أرادت Google التركيز على فهم أعمق للرياضيات والمنطق والاستدلال والعلوم ، مما يعني أن جزءًا كبيرًا من بيانات التدريب الخاصة بـ PaLM 2 يركز على الموضوعات المذكورة أعلاه. تقول Google في ورقتها أن مجموعة التدريب المسبق لـ PaLM 2 تتكون من مصادر متعددة ، بما في ذلك مستندات الويب ، الكتب والرموز والرياضيات وبيانات المحادثة ، مما يمنحها تحسينات في جميع المجالات ، على الأقل عند مقارنتها بـ نخل.

يجب أن تكون مهارات المحادثة الخاصة بـ PaLM 2 على مستوى آخر مع الأخذ في الاعتبار أن النموذج قد تم تدريبه بأكثر من 100 لغة لمنحها فهمًا أفضل للسياق وترجمة أفضل قدرات.

بقدر ما يتم تأكيد بيانات تدريب GPT-4 ، أخبرتنا OpenAI أنها دربت النموذج باستخدام البيانات المتاحة للجمهور والبيانات التي رخصتها. صفحة بحث GPT-4 تنص ، "البيانات هي مجموعة بيانات على نطاق الويب بما في ذلك الحلول الصحيحة وغير الصحيحة لمشاكل الرياضيات ، الضعيفة و منطق قوي ، تصريحات متناقضة ومتسقة ، وتمثل مجموعة كبيرة ومتنوعة من الأيديولوجيات و الأفكار ".

عندما يتم طرح سؤال على GPT-4 ، يمكن أن ينتج عنه مجموعة متنوعة من الردود ، قد لا تكون جميعها ذات صلة باستعلامك. لمواءمتها مع نية المستخدم ، قامت OpenAI بضبط سلوك النموذج باستخدام التعلم المعزز مع ردود الفعل البشرية.

على الرغم من أننا قد لا نعرف بيانات التدريب الدقيقة التي تم تدريب أي من هذه النماذج عليها ، إلا أننا نعلم أن هدف التدريب كان مختلفًا للغاية. سيتعين علينا الانتظار لنرى كيف يميز هذا الاختلاف في نية التدريب بين النموذجين في النشر في العالم الحقيقي.

PaLM 2 و GPT-4 روبوتات المحادثة والخدمات

تستخدم البوابة الأولى للوصول إلى كل من LLMs روبوتات المحادثة الخاصة بها ، و PaLM 2's Bard و ChatGPT الخاص بـ GPT-4. ومع ذلك ، فإن GPT-4 وراء جدار مدفوع مع ChatGPT Plus ، ولا يحصل المستخدمون المجانيون إلا على GPT-3.5. من ناحية أخرى ، فإن Bard مجانية للجميع ومتاحة في 180 دولة.

هذا لا يعني أنه لا يمكنك الوصول إلى GPT-4 مجانًا أيضًا. تستخدم Bing AI Chat من Microsoft GPT-4 وهي مجانية تمامًا ومفتوحة للجميع ومتاحة بجوار Bing Search ، أكبر منافس Google في الفضاء.

كان Google I / O 2023 مليئًا بالإعلانات حول كيفية قيام PaLM 2 والتكامل التوليدي للذكاء الاصطناعي بتحسين مساحة عمل Google تجربة مع ميزات AI القادمة إلى Google Docs ، و Sheets ، و Slides ، و Gmail ، وتقريباً كل خدمة يقدمها عملاق البحث. بالإضافة إلى ذلك ، أكدت Google أن PaLM 2 قد تم دمجه بالفعل في أكثر من 25 منتجًا من منتجات Google ، بما في ذلك Android و YouTube.

بالمقارنة ، قامت Microsoft بالفعل بإحضار ميزات AI إلى مجموعة برامج Microsoft Office والعديد من خدماتها. في الوقت الحالي ، يمكنك تجربة كل من LLM في نسختهما الخاصة من العروض المماثلة من شركتين متنافستين تتنافسان وجهاً لوجه في معركة الذكاء الاصطناعي.

ومع ذلك ، منذ ظهور GPT-4 مبكرًا وحرصه على تجنب العديد من الأخطاء الفادحة التي ارتكبتها Google باستخدام Bard الأصلي ، فقد كان بحكم الواقع LLM لمطوري الطرف الثالث والشركات الناشئة وأي شخص آخر يتطلع إلى دمج نموذج ذكاء اصطناعي قادر في خدمتهم بعيد. لدينا قائمة تطبيقات GPT-4 إذا كنت تريد التحقق منها.

هذا لا يعني أن المطورين لن يتحولوا إلى PaLM 2 أو يجربونه على الأقل ، ولكن لا يزال يتعين على Google لعب اللحاق بالركب مع OpenAI على هذا الصعيد. وحقيقة أن PaLM 2 مفتوح المصدر ، بدلاً من أن يتم قفله خلف واجهة برمجة تطبيقات مدفوعة ، يعني أنه يمكن اعتماده على نطاق أوسع من GPT-4.

هل يمكن لـ PaLM 2 تولي GPT-4؟

لا يزال PaLM 2 جديدًا جدًا ، لذا لا يزال يتعين الإجابة على الإجابة على ما إذا كان يمكنه تحمل GPT-4 أم لا. ومع ذلك ، مع كل ما تعد به Google والطريقة العدوانية التي قررت استخدامها لنشره ، يبدو أن PaLM 2 يمكنه منح GPT-4 فرصة للحصول على أمواله.

ومع ذلك ، لا يزال GPT-4 نموذجًا قادرًا تمامًا ، وكما ذكرنا سابقًا ، يتفوق على PaLM 2 في عدد غير قليل من المقارنات. ومع ذلك ، فإن نماذج PaLM 2 المتعددة الأصغر تمنحها ميزة لا يمكن دحضها. Gecko نفسه خفيف الوزن لدرجة أنه يمكنه العمل على الأجهزة المحمولة ، حتى في حالة عدم الاتصال بالإنترنت. هذا يعني أن PaLM 2 يمكنه دعم فئة مختلفة تمامًا من المنتجات والأجهزة التي قد تواجه صعوبة في استخدام GPT-4.

سباق الذكاء الاصطناعي يزداد سخونة

مع إطلاق PaLM2 ، احتدم السباق على هيمنة الذكاء الاصطناعي ، حيث قد يكون هذا أول خصم يستحق مواجهة GPT-4. مع وجود نموذج أحدث متعدد الوسائط للذكاء الاصطناعي يسمى "الجوزاء" قيد التدريب أيضًا ، لا تظهر Google أي علامات على التباطؤ هنا.