LangChain LLM هو حديث المدينة الساخن. احصل على نظرة عامة حول ماهيتها وكيف يمكنك البدء بها.
مع إدخال نماذج اللغات الكبيرة (LLMs) ، كانت معالجة اللغة الطبيعية هي حديث الإنترنت. يتم تطوير تطبيقات جديدة يوميًا بسبب LLMs مثل ChatGPT و LangChain.
LangChain هو إطار عمل Python مفتوح المصدر يمكّن المطورين من تطوير تطبيقات مدعومة بنماذج لغة كبيرة. تطبيقاته هي روبوتات المحادثة والتلخيص والاستجواب والإجابة التوليدية وغير ذلك الكثير.
ستوفر هذه المقالة مقدمة إلى LangChain LLM. سيغطي المفاهيم الأساسية ، وكيفية مقارنتها بنماذج اللغة الأخرى ، وكيفية البدء بها.
فهم LangChain LLM
قبل شرح كيفية عمل LangChain ، عليك أولاً أن تفهم كيف تعمل النماذج اللغوية الكبيرة. نموذج اللغة الكبير هو نوع من الذكاء الاصطناعي (AI) يستخدم التعلم العميق لتدريب نماذج التعلم الآلي على البيانات الضخمة التي تتكون من بيانات نصية ورقمية وكود.
الكمية الهائلة من البيانات تمكن النموذج من تعلم الأنماط الموجودة والعلاقات بين الكلمات والأرقام والرموز. تسمح هذه الميزة للنموذج بأداء مجموعة من المهام ، مثل:
- توليد النص وترجمة اللغة وكتابة المحتوى الإبداعي والتقني والأكاديمي وإجابة الأسئلة الدقيقة وذات الصلة.
- كشف الكائن في الصور.
- تلخيص الكتب والمقالات والأبحاث.
أهم قيود LLMs هي أن النماذج عامة جدًا. تعني هذه الميزة أنه على الرغم من قدرتها على أداء العديد من المهام بفعالية ، إلا أنها قد توفرها في بعض الأحيان إجابات عامة على الأسئلة أو المطالبات التي تتطلب خبرة ومعرفة عميقة بالمجال بدلاً من محددة الإجابات.
تم تطوير إطار عمل LangChain بواسطة Harrison Chase في أواخر عام 2022 ، وهو يقدم نهجًا مبتكرًا في LLMs. تبدأ العملية بمعالجة نصوص مجموعة البيانات مسبقًا عن طريق تقسيمها إلى أجزاء أصغر أو الملخصات. ثم يتم تضمين الملخصات في مساحة متجه. يتلقى النموذج سؤالاً ، ويبحث في الملخصات ، ويقدم الإجابة المناسبة.
تعد طريقة المعالجة المسبقة من LangChain ميزة مهمة لا يمكن تجنبها حيث تصبح LLM أكثر قوة وكثافة للبيانات. تُستخدم هذه الطريقة بشكل أساسي في حالات البحث عن الكود والدلالات لأنها توفر التجميع في الوقت الفعلي والتفاعل مع LLMs.
LangChain LLM مقابل. نماذج اللغات الأخرى
تهدف النظرة العامة المقارنة التالية إلى تسليط الضوء على الميزات والقدرات الفريدة التي تميز LangChain LLM عن نماذج اللغات الأخرى الموجودة في السوق:
- ذاكرة: العديد من LLMs لها ذاكرة قصيرة ، والتي عادة ما تؤدي إلى فقدان السياق إذا تجاوزت المطالبات حد الذاكرة. ومع ذلك ، يوفر LangChain مطالبات واستجابات الدردشة السابقة ، مما يحل مشكلة حدود الذاكرة. يمكّن سجل الرسائل المستخدم من تكرار الرسائل السابقة إلى LLM لتلخيص السياق السابق.
- تبديل LLM: مقارنةً بـ LLMs الأخرى التي تغلق برنامجك بواجهة برمجة تطبيقات لنموذج واحد ، يوفر LangChain فكرة تجريدية تبسط تبديل LLM أو تكامل LLM متعددة في تطبيقك. يكون هذا مفيدًا عندما تريد ترقية إمكانات البرنامج باستخدام نموذج مضغوط ، مثل StableLM من Stability AI على سبيل المثال من OpenAI's GPT-3.5.
- اندماج: يعد دمج LangChain في تطبيقك أمرًا سهلاً مقارنةً بـ LLMs الأخرى. يوفر تدفقات عمل خط الأنابيب من خلال السلاسل و عملاء، مما يتيح لك دمج LangChain بسرعة في تطبيقك. فيما يتعلق بخطوط الأنابيب الخطية ، فإن السلاسل عبارة عن كائنات تربط بشكل أساسي أجزاء عديدة. الوكلاء أكثر تقدمًا ، مما يسمح لك باختيار كيفية تفاعل المكونات باستخدام منطق الأعمال. على سبيل المثال ، قد ترغب في استخدام المنطق الشرطي لتحديد مسار العمل التالي بناءً على نتائج LLM.
- تمرير البيانات: نظرًا لطبيعة LLM العامة القائمة على النص ، فمن الصعب عادةً تمرير البيانات إلى النموذج. LangChain يحل هذه المشكلة باستخدام فهارس. تمكن الفهارس أحد التطبيقات من استيراد البيانات بتنسيقات متغيرة وتخزينها بطريقة تجعل من الممكن تقديمها صفًا تلو الآخر إلى LLM.
- استجابات: يوفر LangChain أدوات محلل الإخراج لإعطاء إجابات بتنسيق مناسب على عكس LLMs الأخرى التي تتكون استجابتها النموذجية من نص عام. عند استخدام الذكاء الاصطناعي في أحد التطبيقات ، يُفضل أن يكون لديك استجابة منظمة يمكنك البرمجة مقابلها.
البدء مع LangChain LLM
الآن سوف تتعلم كيفية تنفيذ LangChain في سيناريو حالة استخدام حقيقي لفهم كيفية عمله. قبل البدء في التطوير ، تحتاج إلى إعداد بيئة التطوير.
تهيئة بيئة التطوير الخاصة بك
أولاً، خلق بيئة افتراضية وقم بتثبيت التبعيات أدناه:
- أوبن إيه آي: لدمج GPT-3 API في تطبيقك.
- LangChain: لدمج LangChain في التطبيق الخاص بك.
باستخدام النقطة ، قم بتشغيل الأمر أدناه لتثبيت التبعيات:
pipenv تثبيت langchain openai
يقوم الأمر أعلاه بتثبيت الحزم وإنشاء بيئة افتراضية.
استيراد التبعيات المثبتة
أولاً ، قم باستيراد الفئات الضرورية مثل LLMChain, أوبن إيه آي, المحادثة، و موجه نموذج من لانجشين طَرد.
من لانجشين يستورد ConversationChain، OpenAI، PromptTemplate، LLMChain
من langchain.memory يستورد المحادثة
تقوم فئات LangChain بتحديد وتنفيذ سلاسل نماذج اللغة.
الوصول إلى مفتاح OpenAI API
بعد ذلك ، احصل على مفتاح OpenAI API. للوصول إلى مفتاح واجهة برمجة تطبيقات OpenAI ، يجب أن يكون لديك حساب OpenAI ، ثم الانتقال إلى منصة OpenAI API.
في لوحة القيادة ، انقر على أيقونة الملف الشخصي. ثم ، انقر فوق عرض مفاتيح API زر.
بعد ذلك ، انقر فوق ملف إنشاء مفتاح سري جديد زر للحصول على مفتاح API جديد.
أدخل الاسم المطلوب لمفتاح API.
سوف تتلقى ملف المفتاح السري اِسْتَدْعَى.
انسخ مفتاح API وتخزينه في مكان آمن لاستخدامه في المستقبل.
تطوير تطبيق باستخدام LangChain LLM
ستنتقل الآن إلى تطوير تطبيق دردشة بسيط على النحو التالي:
# تخصيص قالب LLM
قالب = المساعد هو نموذج لغوي كبير تم تدريبه بواسطة OpenAI.{تاريخ}
الإنسان: {human_input}
مساعد:
موجه = PromptTemplate (input_variables = ["تاريخ", "human_input"] ، قالب = قالب)
بعد ذلك ، ستقوم بتحميل سلسلة ChatGPT باستخدام مفتاح API الذي قمت بتخزينه مسبقًا.
chatgpt_chain = LLMChain (llm = OpenAI (openai_api_key ="OPENAI_API_KEY"، درجة الحرارة =0),
موجه = موجه ،
مطول =حقيقي,
الذاكرة = كونفيرسيشنبوفيرويندووموري (ك =2),
)
# توقع جملة باستخدام سلسلة المحادثة
الإخراج = chatgpt_chain.predict (
human_input ="ما هو MakeUseOf؟"
)
# اعرض استجابة النموذج
طباعة (إخراج)
يقوم هذا الرمز بتحميل سلسلة LLM بمفتاح OpenAI API ونموذج المطالبة. ثم يتم توفير مدخلات المستخدم ، ويتم عرض ناتجها.
أعلاه هو الناتج المتوقع.
التأثير المتزايد ل LLMs
ينمو استهلاك LLM بسرعة ويغير كيفية تفاعل البشر مع آلات المعرفة. تعد أطر العمل مثل LangChain في طليعة تزويد المطورين بطريقة سلسة وبسيطة لخدمة LLMs للتطبيقات. كما أن نماذج الذكاء الاصطناعي التوليدية مثل ChatGPT و Bard و Hugging Face لم تُتخلف عن الركب في تطوير تطبيقات LLM.
