بينما يقود OpenAI الطريق لتطوير الذكاء الاصطناعي التوليدي ، اتهم الكثيرون Google بالتخلف عن الركب. ومع ذلك ، حتى لا يتم تجاوزها ، أطلقت Google نموذجًا جديدًا للغة كبيرة ، PaLM 2 ، في مؤتمر Google I / O لعام 2023.
من المقرر أن يأتي بأربعة أحجام مختلفة لمجموعة من التطبيقات ، يبدو أن برنامج LLM الجديد من Google يدعم بالفعل العديد من خدمات Google ، مع المزيد في المستقبل.
ما هو PaLM 2؟
في مؤتمر Google I / O 2023 ، الذي عقد في 10 مايو ، كشفت سوندا بيتشاي ، الرئيس التنفيذي لشركة Google ، عن أحدث لعبة من Google: PaLM 2.
باختصار لـ Pathways Language Model 2 ، تعد LLM التي تمت ترقيتها من Google هي التكرار الثاني لـ PaLM ، مع إطلاق الإصدار الأول مرة أخرى في أبريل 2022. لا أستطيع تذكر PaLM؟ حسنًا ، في ذلك الوقت ، كان خبرًا كبيرًا وحظي باهتمام كبير نظرًا لقدرته على التحدث قليلاً وإلقاء النكات الأساسية وما إلى ذلك. تقدم سريعًا لمدة ستة أشهر ، و فجرت GPT-3.5 من OpenAI كل شيء خارج الماء، بما في ذلك PaLM.
منذ ذلك الحين، أطلقت شركة OpenAI GPT-4، ترقية هائلة على GPT-3.5. ومع ذلك ، بينما يتم دمج النموذج الأحدث في العديد من الأدوات ، وأبرزها Bing AI Chat من Microsoft ، فإن Google تتخذ الهدف في OpenAI و GPT-4 مع PaLM 2 ، ونأمل أن تتمكن LLM التي تمت ترقيتها من سد ما يبدو أنه فجوة كبيرة - لم يكن إطلاق Google Bard صعبًا نجاح.
أعلن بيتشاي أن PaLM 2 سيأتي بأربعة أحجام مختلفة للطراز: Gecko و Otter و Bison و Unicorn.
Gecko خفيف الوزن لدرجة أنه يمكن أن يعمل على الأجهزة المحمولة وسريع بما يكفي للتطبيقات التفاعلية الرائعة على الجهاز ، حتى في حالة عدم الاتصال بالإنترنت. هذا التنوع يعني أنه يمكن ضبط PaLM 2 لدعم فئات كاملة من المنتجات بطرق أكثر لمساعدة المزيد من الأشخاص.
مع قدرة Gecko على معالجة حوالي 20 رمزًا مميزًا في الثانية - الرموز المميزة هي القيم المخصصة للكلمات الحقيقية لاستخدامها بواسطة نماذج الذكاء الاصطناعي التوليدية - يبدو من المحتمل أن تكون أداة لتغيير قواعد اللعبة لأدوات الذكاء الاصطناعي القابلة للنشر على الأجهزة المحمولة.
بيانات التدريب PaLM 2
لم يكن Google قريبًا تمامًا من بيانات التدريب الخاصة بـ PaLM 2 ، وهو أمر مفهوم نظرًا لأنه تم إصداره للتو. لكن جوجل تقرير PaLM 2 قالت [PDF] إنها تريد أن يكون لدى PaLM 2 فهم أعمق للرياضيات والمنطق والعلوم ، وأن جزءًا كبيرًا من مجموعة التدريب الخاصة بها تركز على هذه الموضوعات.
ومع ذلك ، تجدر الإشارة إلى أن PaLM لم يكن مترهلًا. متى جوجل كشفت PaLM ، أنها أكدت أنه تم تدريبها على 540 مليار معلمة ، والتي كانت في ذلك الوقت رقمًا هائلاً.
يُزعم أن GPT-4 الخاص بـ OpenAI يستخدم أكثر من تريليون معلمة ، مع بعض التكهنات التي تشير إلى أن هذا الرقم يصل إلى 1.7 تريليون. إنه رهان آمن أنه نظرًا لأن Google تريد PaLM 2 للتنافس مباشرة مع OpenAI's LLMs ، فإنها ستظهر ، على الأقل ، رقمًا مشابهًا ، إن لم يكن أكثر.
دفعة أخرى مهمة لـ PaLM 2 هي بيانات التدريب اللغوي. قامت Google بتدريب PaLM 2 بأكثر من 100 لغة لمنحها عمقًا أكبر وفهمًا أكبر للسياق ولزيادة إمكانيات الترجمة.
لكنها ليست مجرد لغات منطوقة. ربط طلب Google بـ PaLM 2 لتقديم تفكير علمي ورياضي أفضل ، فإن LLM لديها تم تدريبهم أيضًا على أكثر من 20 لغة برمجة ، مما يجعله أحد الأصول الهائلة للمبرمجين.
يقوم PaLM 2 بالفعل بتشغيل خدمات Google — ولكنه لا يزال يتطلب ضبطًا دقيقًا
لن يمر وقت طويل حتى نتمكن من وضع أيدينا على PaLM 2 ونرى ما يمكن أن يفعله. مع أي حظ ، سيكون إطلاق أي تطبيقات وخدمات PaLM 2 أفضل من Bard.
ولكن ربما تكون قد استخدمت (من الناحية الفنية!) PaLM 2 بالفعل. أكدت Google أن PaLM 2 منتشر بالفعل ومستخدم عبر 25 من منتجاتها ، بما في ذلك Android و YouTube و Gmail و Google Docs و Google Slides و Google Sheets والمزيد.
لكن تقرير PaLM 2 يكشف أيضًا أنه لا يزال هناك عمل يتعين القيام به ، وتحديداً تجاه الاستجابات السامة عبر مجموعة من اللغات.
على سبيل المثال ، عند إعطاء مطالبات سامة على وجه التحديد ، ينتج PaLM 2 استجابات سامة أكثر من 30 في المائة من الوقت. علاوة على ذلك ، بلغات محددة - الإنجليزية والألمانية والبرتغالية - قدمت PaLM 2 ردودًا سامة أكثر أكثر من 17٪ من الوقت ، مع دوافع تشمل الهويات العرقية والأديان التي دفعت هذا الرقم أعلى.
بغض النظر عن مقدار محاولات الباحثين لتنظيف بيانات تدريب LLM ، فمن المحتم أن يتسلل البعض منها. تتمثل المرحلة التالية في مواصلة تدريب PaLM 2 لتقليل تلك الاستجابات السامة.
إنها فترة ازدهار لنماذج اللغات الكبيرة
لم يكن OpenAI أول من أطلق نموذجًا كبيرًا للغة ، لكن طرز GPT-3 و GPT-3.5 و GPT-4 أضاءت بلا شك ورقة اللمس الزرقاء على الذكاء الاصطناعي التوليدي.
تواجه PaLM 2 من Google بعض المشكلات التي يجب تسويتها ، ولكن كونها قيد الاستخدام بالفعل في العديد من خدمات Google يظهر ثقة الشركة في أحدث ماجستير لها.
