كيفية تشغيل نموذج لغة كبير على Linux (ولماذا يجب عليك ذلك)

نماذج اللغات الكبيرة لديها القدرة على إحداث ثورة في الطريقة التي تعيش بها وتعمل ، ويمكنها إجراء محادثات والإجابة على الأسئلة بدرجة متفاوتة من الدقة.

لاستخدام واحد ، ستحتاج عادةً إلى حساب مع موفر LLM ، ولتسجيل الدخول عبر موقع ويب أو تطبيق مخصص. لكن هل تعلم أنه يمكنك تشغيل نموذج اللغة الكبير الخاص بك دون اتصال بالإنترنت تمامًا على Linux؟

لماذا تشغيل نموذج لغة كبير على Linux؟

نماذج اللغة الكبيرة (LLMs) موجودة في كل مكان هذه الأيام ويمكنها معالجة اللغة الطبيعية وإعطاء الردود المناسبة التي يمكن أن تخدعك في التفكير في أن الإنسان قد رد. تطرح Microsoft إصدارًا جديدًا من Bing يعمل بالذكاء الاصطناعي، بينما الأبجدية يعد Bard الآن جزءًا لا يتجزأ من عمليات بحث Google.

بعيدًا عن محركات البحث ، يمكنك استخدام ما يسمى بـ "روبوتات الدردشة المدعومة بالذكاء الاصطناعي" للإجابة على الأسئلة أو تأليف الشعر أو حتى أداء واجبك المنزلي نيابةً عنك.

ولكن من خلال الوصول إلى LLMs عبر الإنترنت ، فإنك تعتمد على حسن نية مزود طرف ثالث - والتي يمكن سحبها في أي وقت.

أنت أيضًا تخضع لقيود الاستخدام. اطلب من OpenAI كتابة رواية مثيرة من 6000 كلمة في ألمانيا النازية ، على سبيل المثال ، وستحصل على رد على غرار "أنا أعتذر ، لكنني لن أتمكن من إنشاء هذه القصة لك".

يتم استخدام أي شيء تقوم بإدخاله في LLM عبر الإنترنت لتدريبهم بشكل أكبر ، وقد يتم بث البيانات التي قد ترغب في الحفاظ عليها سرية في المستقبل كجزء من الرد على سؤال شخص آخر.

أنت أيضًا عرضة لنقص الخدمة نظرًا لفيضان النظام بالمستخدمين ، ومزاجك من الاشتراك ، حتى تتمكن من الوصول إلى النظام الأساسي عندما يكون الطلب مرتفعًا.

Dalai هو تطبيق مجاني ومفتوح المصدر لـ Meta LLaMa LLM و Stanford's Alpaca. سيعمل بشكل مريح على أجهزة متواضعة ويوفر واجهة ويب سهلة الاستخدام ومجموعة من القوالب السريعة - لذا يمكنك أن تسأل عن أي شيء التي تريدها ، دون خوف من أن يقوم أحد المسؤولين بإغلاق حسابك ، فإن LLM سترفض الإجابة ، أو أن اتصالك سينتقل إلى يسقط.

عندما تقوم بتثبيت LLM محليًا على Linux ، فهو ملكك ويمكنك استخدامه كما تريد.

كيفية تثبيت Dalai على لينكس

أسهل طريقة لتثبيت Dalai على Linux هي استخدام Docker و Docker Compose. إذا لم يكن لديك هذه بالفعل ، فاستشر دليلنا حول كيفية القيام بذلك تثبيت Docker و Docker Compose.

بهذه الطريقة ، تكون جاهزًا لبدء تثبيت الدالاي لاما. استنساخ مستودع Dalai GitHub واستخدم الأمر cd للانتقال إليه:

استنساخ بوابة https://github.com/cocktailpeanut/dalai.git && cd dalai

لتنشيط الدالاي ليعمل بواجهة ويب ، أولاً ، قم ببناء ملف Docker Compose:

بناء عامل البناء

سيقوم Docker Compose بتنزيل وتثبيت Python 3.11 و Node Version Manager (NVM) و Node.js.

في المرحلة السابعة من تسعة ، سيبدو البناء متجمدًا بينما يقوم Docker Compose بتنزيل Dalai. لا تقلق: تحقق من استخدام النطاق الترددي لتطمئن نفسك أن شيئًا ما يحدث ، و محاكاة تطور الكائنات الافتراضية في جهازك بينما أنت منتظر.

في النهاية ، ستتم إعادتك إلى موجه الأوامر.

تتطلب طرازات Dalai و LLaMa / Alpaca الكثير من الذاكرة للتشغيل. على الرغم من عدم وجود أي مواصفات رسمية ، فإن الدليل التقريبي الجيد هو 4 جيجا بايت للطراز 7B ، و 8 جيجا بايت لطراز 13B ، و 16 جيجا بايت لطراز 30B ، و 32 جيجا بايت لطراز 65B.

طرازات Alpaca صغيرة نسبيًا ، حيث يصل طراز 13B إلى 7.6 جيجابايت متواضع ، لكن أوزان LLaMA يمكن أن تكون ضخمة: يأتي ما يعادله من تنزيل 13B بحجم 60.21 جيجابايت ، وسيشغل طراز 65B مساحة نصف تيرابايت ملحمية على القرص الصلب. القرص.

حدد النموذج الأنسب لمواردك ، واستخدم الأمر التالي لتثبيته:

docker-compose run dalai npx dalai alpaca install 13B

أو:

docker-compose run dalai npx dalai llama install 13B

هناك احتمال أن تكون النماذج التي تم تنزيلها عبر الدالاي لاما تالفة. إذا كانت هذه هي الحالة ، فاخذهم من تعانق الوجه بدلاً من.

بعد عودتك إلى موجه الأوامر ، قم بإظهار Docker Compose في الوضع المنفصل:

عامل الميناء يؤلف د

تحقق مما إذا كانت الحاوية تعمل بشكل صحيح باستخدام:

عامل ميناء تكوين ملاحظة

إذا كان كل شيء يعمل كما ينبغي ، فافتح متصفح الويب وادخل المضيف المحلي: 3000 في شريط العنوان.

استمتع بنموذج اللغة الكبير الخاص بك على نظام Linux

عندما تفتح واجهة الويب ، سترى مربع نص يمكنك كتابة مطالباتك فيه.

تعد كتابة المطالبات الفعالة أمرًا صعبًا ، وقد قدم مطورو الدالاي لاما مجموعة من القوالب التي ستساعدك في الحصول على استجابة مفيدة من الدالاي لاما.

هؤلاء هم منظمة العفو الدولية الحوار, الشات بوت, تقصير, تعليمات, اعادة كتابة, يترجم، و سقسقة المشاعر.

كما تتوقع ، فإن ملف منظمة العفو الدولية الحوار و الشات بوت تم تصميم القوالب بطريقة تسمح لك بإجراء محادثة من نوع ما مع LLM. الفرق الرئيسي بين الاثنين هو أنه من المفترض أن يكون روبوت المحادثة "ذكيًا للغاية" ، بينما يكون برنامج AI-Dialog "مفيدًا ولطيفًا ومطيعًا وصادقًا ويعرف حدوده الخاصة".

بالطبع ، هذا هو "الذكاء الاصطناعي" الخاص بك ، وإذا كان ذلك يرضيك ، يمكنك تغيير الموجه بحيث يكون روبوت المحادثة غبيًا ، وخصائص حوار الذكاء الاصطناعي "سادية" و "غير مفيدة". الأمر متروك لك.

اختبرنا يترجم عن طريق نسخ الفقرة الافتتاحية لقصة إخبارية على بي بي سي ومطالبة الدالاي لاما بترجمتها إلى الإسبانية. كانت الترجمة جيدة ، وعندما قمنا بتشغيلها من خلال خدمة الترجمة من Google لتحويلها مرة أخرى إلى اللغة الإنجليزية ، وجدنا أنها سهلة القراءة تمامًا ورددت الحقائق والمشاعر الخاصة بالمقطع الأصلي.

وبالمثل ، فإن اعادة كتابة نسج النص بشكل مقنع في افتتاح مقال جديد.

ال تقصير و تعليمات تم تصميم المطالبات لمساعدتك في طرح الأسئلة أو توجيه تعليمات للدالاي لاما مباشرة.

ستختلف دقة استجابة الدالاي لاما بشكل كبير اعتمادًا على الطراز الذي تستخدمه. سيكون نموذج 30B أكثر فائدة من نموذج 7B. ولكن حتى ذلك الحين ، يتم تذكيرك بأن LLM هي ببساطة أنظمة معقدة لتخمين الكلمة التالية في الجملة.

لم يكن الطرازان 7B و 13B Alpaca قادرين على تقديم ملخص دقيق من 200 كلمة للقصة القصيرة ، "Cat in the Rain "بواسطة إرنست همنغواي ، وكلاهما يشكلان خطوط حبكة مقنعة تمامًا وتفاصيل حول ماهية القصة يتضمن.

وفي حين أن حوار الذكاء الاصطناعي "المفيد ، واللطيف ، والمطيع ، والصادق" الذي "يعرف حدوده الخاصة" ، و Chatbot "ذكي للغاية" سوف يرفض المطالبات المثيرة للجدل ، يمكنك إعطاء الدالاي لاما تعليمات مباشرة أو طلبًا افتراضيًا ، وسيقوم بكتابة ما تريد - كيفما تريد هو - هي.

نموذج اللغة الكبير على جهاز Linux الخاص بك هو ملكك

من خلال تشغيل نموذج لغة كبير على صندوق Linux الخاص بك ، فأنت لا تخضع للإشراف أو سحب الخدمة. يمكنك استخدامه بالشكل الذي تراه مناسبًا دون خوف من عواقب انتهاك سياسة محتوى الشركة.

إذا كانت موارد الحوسبة لديك قليلة ، يمكنك حتى تشغيل LLM محليًا على Raspberry Pi المتواضع.