Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 4 - Reinforcement Learning with LLMs
📚 الموضوعات الرئيسية
- مراحل تدريب النماذج اللغويةتراجع المحاضرة التدريب المسبق والضبط الدقيق الخاضع للإشراف، ثم تركز على ضبط التفضيلات وتعزيز الاستدلال باستخدام التعلم التعزيزي. 3:10
- إعداد التعلم التعزيزي والمكافآتيُعامل النموذج اللغوي بوصفه سياسة تختار الرموز أو تولّد استجابات للمطالبات، ثم تتلقى الاستجابات مكافآت من تفضيلات بشرية أو من معايير قابلة للتحقق، مثل صحة الرياضيات والبرمجة. 6:48
- تدرج السياسة وREINFORCEيُشتق تدرج الهدف لتعظيم المكافآت المتوقعة، ويُستخدم تدرج لوغاريتم احتمال السياسة لتحديث النموذج. كما تشرح المحاضرة إعادة استخدام العينات عبر نسبة أخذ العينات بالأهمية بدلاً من توليد استجابات جديدة لكل تحديث. 17:17
- تحديات تدرجات السياسةتشمل التدرجات عالية التباين، وغياب إسناد واضح للمكافأة إلى الرموز الفردية، وخطر ابتعاد النموذج عن قدراته السابقة أو استغلال نموذج المكافأة. 33:12
- PPO والميزة وقص النسبةتستخدم PPO الميزة للمقارنة بخط أساس، وتقدّر دالة القيمة المكافآت المستقبلية للرموز، بينما يحد قص النسبة وعقوبة تباعد KL من ابتعاد السياسة عن السياسة السابقة أو المرجعية. 40:29
- الصلة بين PPO وDPOتشرح المحاضرة أن معامل بيتا في عقوبة KL يرتبط بمعامل بيتا في DPO، وأن ارتفاعه يشجع السياسة على البقاء أقرب إلى النموذج المرجعي. 59:50
- GRPO ومقارنته بـ PPOتستغني GRPO عن دالة القيمة، وتقارن مكافآت عدة استجابات للمطالبة نفسها بمتوسط المجموعة وانحرافها المعياري لتقدير المزايا. أما PPO فتستخدم دالة قيمة مدرّبة مع السياسة لتقدير المزايا على مستوى الرموز. 1:07:07
- قيود GRPO وتعديلاتهقد يؤدي تطبيع المساهمات بحسب طول الاستجابة إلى تفضيل إجابات سيئة أطول، كما قد يسبب التطبيع بالانحراف المعياري تحيزاً؛ وتعرض المحاضرة DAPO وDr. GRPO بوصفهما محاولتين لمعالجة بعض هذه المشكلات. 1:18:10
- التقطير على السياسةيقارن هذا النهج توزيعات توقع الرمز التالي للطالب والمعلم على استجابات الطالب نفسها، ما يوفر إشرافاً على مستوى الرموز من دون تدريب نموذج قيمة. 1:29:10
- التقطير الذاتي ومتعدد المعلمينيمكن استخدام النموذج نفسه معلماً عبر تزويده بالإجابة ضمن السياق، كما يمكن استخدام معلمين متخصصين في مجالات مختلفة لمعالجة محدودية المعلم الواحد ومشكلات النسيان. 1:39:01
✨ الخلاصات الرئيسية
- المكافأة ليست دائماً على مستوى الرمزتُمنح المكافآت غالباً للاستجابة كاملة، ولذلك قد يحصل كل رمز فيها على الإشارة نفسها حتى عندما تكون بعض خطوات الاستدلال خاطئة. 35:54
- الخط الأساس يقلل ضجيج التدرجمقارنة المكافأة المتحققة بما يُتوقع عادةً للمطالبة تساعد على تمييز الاستجابات الأفضل وتدعم إسناداً أدق للمساهمة. 41:35
- تختلف سياسات PPO الثلاثالسياسة الحالية تُحدَّث، والسياسة القديمة ولّدت دفعة البيانات، أما السياسة المرجعية فتبقى ثابتة وتُستخدم للحد من الانحراف. 1:04:02
- GRPO أبسط من ناحية النماذج، لكنه ليس كاملاًلا تحتاج إلى دالة قيمة، لكن مقارنة النتائج على مستوى الاستجابة لا توفر إسناداً صريحاً للفضل على مستوى الرموز. 1:11:17
- التقطير على السياسة يقدم إشرافاً كثيفاًمقارنة توزيعات الرموز تمنح إشارة تدريب محلية، ولا تعتمد على نموذج مكافأة يمكن للنموذج استغلاله. 1:36:28
🧠 الدروس المستفادة
- افهم الهدف والرموز قبل تطبيق الصيغقد تشير الرموز نفسها في الأوراق المختلفة إلى المكافأة أو النسبة أو دالة هدف، كما أن دالة الهدف في PPO تُعظَّم لا تُقلَّل. 4:13
- القيود تساعد على منع الانحرافقص النسبة يحدّ من التغيير بين السياسة الحالية والقديمة، بينما تقيس عقوبة KL الاختلاف عن السياسة المرجعية. 53:03
- انتبه إلى تطبيع GRPOقد يؤثر طول الاستجابة وطريقة حساب الانحراف المعياري في تحديثات النموذج، لذا ينبغي اختيار التطبيع بعناية. 1:19:13
- اختيار النهج يعتمد على الموارد والإشرافPPO يتطلب تدريب دالة قيمة، وGRPO يعتمد على مجموعات من الاستجابات، والتقطير على السياسة يحتاج إلى معلم أو وسيلة لإنشاء توزيعاته. 1:13:25
🏁 الخاتمة والخطوات التالية
- الموازنة بين الإشراف والكلفةتعرض المحاضرة مسارات مختلفة لتحسين النموذج بعد التدريب، من PPO وGRPO إلى التقطير على السياسة، ولكل منها مقايضات في دقة الإشراف والحوسبة والنماذج المطلوبة. 1:24:31
- توسيع التقطير إلى معلمين متعددينيمكن الاستعانة بخبراء مختلفين بحسب المجال لتحسين التغطية وتقليل مشكلات التعلم من معلم واحد. 1:42:06
Transcript excerpt
0:05 أهلاً بالجميع ومرحباً بكم في المحاضرة الرابعة من مساق CME 295. اليوم يوم مميز جداً لأننا سنتحدث عن أساليب التدريب القائمة على التعلم التعزيزي. لقد أصبحت هذه الأساليب شائعة جداً، خاصة فيما يتعلق بمرحلة ما بعد تدريب النماذج اللغوية الكبيرة. والسبب في كون جلسة اليوم مميزة قليلاً هو أنه على عكس الجلسات السابقة، سيكون هناك القليل من الرياضيات.
0:37 وهذا هو السبب في أننا قررنا في المرة السابقة تأجيل جميع الأساليب القائمة على التعلم التعزيزي إلى اليوم. إذن، اليوم هو الموعد المنتظر. نعم، أردت البدء بهذا التنويه. والشيء الثاني الذي أردت قوله هو أننا سنحاول البدء بالحدس أولاً ثم الالتزام بالدقة الرياضية. لكن من فضلكم، لا تدعوا المعادلات الكبيرة تخيفكم. آمل أن تكون جلسة جيدة. مع ذلك،
1:07 سنبدأ كالمعتاد بمراجعة ما تناولناه في المرة السابقة. إذا كنتم تتذكرون، تحدثنا في المرة السابقة عن تدريب النماذج اللغوية الكبيرة. والخطوة الأولى في تدريب النماذج اللغوية الكبيرة تسمى "التدريب المسبق". وهي خطوة تهدف إلى تعليم النموذج كيفية فهم النصوص وكيفية فهم الأكواد البرمجية. وعادة ما تتضمن هذه الخطوة تدريب نموذجك على كمية كبيرة من البيانات. وعندما أقول
1:38 كمية كبيرة من البيانات، فأنا أعني تريليونات الرموز. لذا ، هناك الكثير من العمل حول إيجاد الخلطات الصحيحة، مثل مقدار محتوى الويب، ومقدار الكتب، وما إلى ذلك. دالة الخسارة لهذه الخطوة هي "خسارة الإنتروبيا المتقاطعة "، التي تحاول معاقبة أي انحراف عن الرمز الذي يحتاج النموذج إلى توقعه. إذن، هي عملية توقع الرمز التالي. وقد رأينا بعض المراحل الناشئة مثل
🔒 The full, searchable transcript is available with Pro.
Questions & Answers
Common questions about this video
كيف يُصاغ إعداد التعلم التعزيزي لنموذج لغوي كبير؟
يُعامل النموذج اللغوي الكبير بوصفه وكيلاً، والمطالبة حالةً، واختيار الرمز التالي إجراءً. ويمكن النظر أيضاً إلى الاستجابة الكاملة بوصفها إجراءً، ثم تُقيَّم الاستجابة بمكافأة، ويكون الهدف تعظيم المكافآت المتوقعة. 7:18
ما الفرق بين RLHF وRLVR في تصميم المكافآت؟
يُستخدم RLHF عندما لا توجد إجابة صحيحة موضوعياً، فتُستمد المكافآت من تفضيلات البشر التي يمكن نمذجتها بنموذج مكافأة. أما RLVR فيُستخدم عندما يمكن التحقق من صحة الإجابة، مثل حل مسألة رياضية أو اجتياز برنامج لحالات الاختبار. 10:01
ما التحديات الرئيسية في تحديث السياسة باستخدام المكافآت؟
قد تكون التدرجات عالية التباين، ولا يتوفر عادةً إسناد صريح للمكافأة على مستوى الرموز، كما قد تنحرف السياسة كثيراً عن النموذج الأساسي أو تستغل قصور نموذج المكافأة. 33:12
كيف تستخدم PPO دالة القيمة لحساب الميزة؟
تقدّر دالة القيمة المكافأة النهائية المتوقعة انطلاقاً من المطالبة والاكتمال الجزئي. وتُحسب الميزة، في أبسط صورة، بمقارنة قيمة الرمز الحالي بقيمة السياق الذي يسبقه، ما يساعد على إسناد الأثر إلى الرموز وتقليل ضجيج التدرجات. 42:05
كيف يحدّ PPO من ابتعاد السياسة عن التوزيعات السابقة؟
يستخدم PPO نسبة احتمالية السياسة الحالية إلى السياسة القديمة، ويقصّ النسبة لتقليل الحافز على تحديثها أكثر من اللازم. ويمكن أيضاً استخدام عقوبة تباعد KL بين السياسة الحالية والسياسة المرجعية؛ فالسياسة القديمة تُستخدم لتوليد الدفعة، بينما تبقى السياسة المرجعية ثابتة. 53:03
كيف تحسب GRPO المزايا من دون تدريب دالة قيمة؟
تأخذ GRPO عدة استجابات للمطالبة نفسها، وتحسب مكافأة كل استجابة، ثم تقارنها بمتوسط مكافآت المجموعة وتطبّعها باستخدام الانحراف المعياري. وهكذا تقدّر مدى جودة كل استجابة مقارنةً ببقية الاستجابات من دون دالة قيمة. 1:07:38
ما مشكلة تطبيع طول الاستجابة في GRPO، وما بعض التعديلات المقترحة؟
قد يجعل عامل التطبيع مساهمات الرموز في الاستجابات القصيرة أكبر، فيفضّل النموذج أحياناً إجابات سيئة أطول حتى بعد استقرار الأداء. يقترح DAPO تطبيع المساهمة بالنسبة إلى مجموع المخرجات، بينما يتخلى Dr. GRPO عن عامل التطبيع، ويمكن أيضاً إزالة القسمة على الانحراف المعياري للمكافآت أو استخدام قيم مختلفة للقصّ. 1:19:43
ما المقصود بالتقطير المعتمد على السياسة، وما ميزته؟
في التقطير المعتمد على السياسة، يولّد الطالب استجاباته، ثم تُقارَن توزيعات توقع الرمز التالي لديه بتوزيعات نموذج معلّم على الرموز نفسها، غالباً باستخدام تباعد KL العكسي. وبذلك يحصل التدريب على إشارة إشراف كثيفة على مستوى الرموز مع تعلّم النموذج من إكمالاته الخاصة؛ ويمكن أيضاً استخدام التقطير الذاتي أو عدة معلمين. 1:34:26
Related summaries
Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Image Processing
Stanford EE292R AI and Data for Science | Autumn 2026 | Models of Computation in the Retina
Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models
Session 1: Stocks: Horse Market, Oil Market, and Transportation System
ARCANO 52: EL ERROR DE ACTUAR SIN PENSAR | Tarot y Kábala
