Why Inference Matters 12x More Than Training | YC Paper Club
📚 الموضوعات الرئيسية
- أهمية الاستدلال اقتصاديًايستهلك تقديم النماذج نحو ستة أضعاف الحوسبة المستخدمة في تدريبها خلال سنة، وقد يصل أثره إلى 12 ضعفًا على امتداد عمر النموذج. لذلك ينبغي أن تراعي أبحاث النماذج تكلفة الاستدلال وأداءه، لا تكلفة التدريب وحدها. 1:12
- الطبقات الثلاث للابتكارتشمل التحسينات بنية النموذج، مثل الخبراء المتخصصين والتكميم والتقطير؛ والنوى وبيئات التشغيل، مثل FlashAttention وPagedAttention؛ وإدارة الموارد، مثل التوجيه وفك التشفير التخميني وضغط الذاكرة. 8:23
- دورة حياة طلب الاستدلاليبدأ الطلب بالتوجيه إلى مركز البيانات ووحدة معالجة الرسومات المناسبة، ثم تحويل النص إلى رموز، وجدولة العمل، وتنفيذ مرحلتي التعبئة المسبقة وفك التشفير، وأخيرًا إعادة الرموز إلى المستخدم. 16:03
- تحسين أداء النوى والتوازي والتكميمشرح دان فو كيف يمكن لوكلاء البرمجيات تحسين نوى GPU باستخدام حركة مرور حقيقية، وكيف يساعد توزيع النماذج الكبيرة على وحدات متعددة في زيادة الأداء، ولماذا يتطلب التكميم اختبارات دقيقة تحافظ على جودة النموذج. 22:12
- اختلاف جودة مزودي النماذج المفتوحةقد تختلف جودة النموذج المفتوح نفسه بين مزودي الخدمة بسبب اختلاف الأوزان والتكميم ومحركات الاستدلال ودقة استدعاء الأدوات. وتزداد آثار هذه الاختلافات في مهام الوكلاء طويلة الأمد، حيث تتراكم الأخطاء عبر الخطوات. 45:22
- التجميع بالبحث بدلًا من القواعد اليدويةعرض جو فيوتي نهج Luminal القائم على تشبع المساواة، الذي يبحث في بدائل تنفيذ مكافئة ويقيسها على الأجهزة الفعلية، بدل الاعتماد على قواعد إعادة كتابة وقواعد استدلال يدوية كثيرة. 1:04:31
- إدارة الذاكرة في عصر الوكلاءركّز عرض SGLang على إعادة استخدام البادئات عبر شجرة للذاكرة المخبأة، وجدولة الطلبات مع مراعاة الذاكرة، ودمج مجموعات الذاكرة لتخدم السياقات وأحمال العمل المختلفة بكفاءة. 1:30:30
✨ الخلاصات الرئيسية
- فك التشفير عنق زجاجة مهمالتعبئة المسبقة كثيفة الحساب، بينما يعتمد فك التشفير بدرجة كبيرة على نقل الأوزان من الذاكرة؛ لذلك تختلف طرق تحسين المرحلتين، ويكون إنتاج الرموز أثناء فك التشفير تحديًا أساسيًا. 20:41
- التوجيه ينبغي أن يراعي التخزين المؤقتإرسال الطلب إلى الجهاز الذي يحتفظ بسياق مناسب في ذاكرة KV قد يوفر إعادة الحساب، لكن ذلك يتطلب موازنة الاستفادة من الذاكرة مع توزيع الأحمال والموثوقية. 17:35
- قياس الجودة جزء من تشغيل النماذجلا يكفي فحص المعايير العامة؛ ينبغي اختبار استدعاء الأدوات، ومهام العملاء الفعلية، والتغيرات في احتمالات الرموز، ومراقبة الانحرافات في الخدمة. 30:57
- البحث على العتاد الحقيقي عملييصعب بناء نماذج تكلفة دقيقة للأجهزة المعقدة، لذا قد يكون قياس البدائل على الأجهزة المستهدفة أنفع من الاعتماد على التقديرات وحدها، حتى لو استغرق التجميع وقتًا أطول. 1:17:40
- ذاكرة التخزين المؤقت تخفض الكلفةإعادة استخدام السياقات والبادئات تقلل الحساب المطلوب، لكن ذلك يعتمد على سياسات إخلاء وتخصيص تتلاءم مع أحجام السياقات وأنواع الذاكرة المختلفة. 1:42:08
🧠 الدروس المستفادة
- اختبر المسار الكامل لا الأجزاء منفردةينبغي تقييم أثر تحسينات التكميم والنوى على مخرجات النماذج واستدعاء الأدوات وتجربة المستخدم، لا الاكتفاء بقياس السرعة أو معيار واحد. 31:28
- التحسين مرتبط بحمل العملتختلف متطلبات الدردشة والبرمجة والوكلاء من حيث طول السياق وزمن الاستجابة وإعادة استخدام الذاكرة؛ لذلك يجب أن تعكس القياسات حركة المرور الفعلية. 25:17
- تراكم الأخطاء يضر الوكلاءحتى الانحراف الصغير في جودة كل استجابة قد يتحول إلى فشل كبير عبر سلسلة طويلة من استدعاءات الأدوات والخطوات. 49:26
- التنسيق بين أنواع الذاكرة ضروريقد تفشل مشاركة البادئات إذا لم تتوافق حالات الانتباه الكامل والنافذة المنزلقة والحالات التكرارية عند المواضع المطلوبة؛ لذا يفيد توحيد إدارة الذاكرة. 1:41:03
🏁 الخاتمة والخطوات التالية
- مستقبل الاستدلال مفتوح ومتعدد الخياراتستعتمد التطبيقات على مزيج من مزودي السحابة والنماذج المحلية، ما يجعل التوجيه والاختبار المستمرين ضروريين لضمان الجودة والكلفة والسرعة. 1:03:49
- الاستثمار في كامل منظومة الخدمةتحسين النماذج وحده لا يكفي؛ فالنتائج تعتمد أيضًا على التوجيه والجدولة والتخزين المؤقت والنوى والمترجمات والعتاد. 1:04:50
- التحسين المتواصل أولويةمع ازدياد استخدام النماذج المفتوحة والوكلاء، ستظل الحاجة قائمة إلى قياس أداء الخدمة ومراقبة تغيره وتحسينه بما يلائم أحمال العمل الحقيقية. 1:30:30
Transcript excerpt
0:09 كيف حالكم اليوم؟ رائع ! حسنًا، إنها ليلة الاستدلال. هيا، استعدوا للحماس. حسنًا ، لم أكن أعرف كيف أمثل الاستدلال بصورة، لذا اخترتُ صورةً مستوحاة من الهالوين. جعلتها أكثر رعبًا، كما يقول ابني ذو الثلاث سنوات. هذه زوجتي هنا. حسنًا، لماذا الاستدلال؟ من يهتم به؟ حسنًا، أعتقد أننا نستثمر كثيرًا في الاستدلال في YC. ندرس هذا الأمر بعمق. كنتُ
0:40 أدير شركة ذكاء اصطناعي، حيث كنتُ أدرب ونجري الكثير من الاستدلال، وكان الاستدلال دائمًا هو العائق. من الصعب جدًا إجراء الاستدلال بكفاءة على نطاق واسع دون تكبد خسائر فادحة في تكلفة البضائع المباعة، وهو مصطلح يُسمى COGS، حيث يجهل بعض العاملين في مجال البرمجيات معناه. حسنًا، وخلال السنوات العشر الماضية فقط، بلغ رأس مالها السوقي 220 مليار دولار. لدينا شركتان رائعتان، بل ثلاث أو أربع شركات رائعة تتحدث الليلة.
1:12 ولدينا هنا، في الواقع ، رئيس قسم الأبحاث دان فو. لماذا يُعدّ الاستدلال مهمًا؟ لماذا هو مهم حقًا؟ أحب أن أفكر في الأمر من منظور مقارنة عمليات التدريب (Flops) بعمليات الاستدلال، والشركة الوحيدة التي تنشر جميع بياناتها هي DeepSeek. لذا، لنفكر في مدى أهمية عمليات التدريب مقارنةً بعمليات الاستدلال، تُفيد DeepSeek بأنها
🔒 The full, searchable transcript is available with Pro.
Questions & Answers
Common questions about this video
لماذا قد تكون تكلفة الاستدلال أهم من تكلفة التدريب؟
بحسب العرض، قد تُمثّل عمليات الاستدلال نحو ستة أضعاف عمليات التدريب سنويًا لملف الأوزان نفسه. وإذا استُخدم الملف لمدة سنتين، فقد تصبح أهمية الاستدلال نحو 12 ضعفًا، وتزداد مع اتساع قاعدة المستخدمين. 1:42
ما الفرق بين مرحلتي التعبئة المسبقة وفك التشفير؟
التعبئة المسبقة تعالج مطالبة المستخدم، وقد تكون ثقيلة حسابيًا وتستخدم وحدة معالجة الرسومات بكثافة. أما فك التشفير فيولّد الرموز تباعًا، ويعتمد بدرجة كبيرة على نقل أوزان النموذج من الذاكرة إلى وحدات الحوسبة. 20:10
لماذا يُعد توجيه الطلبات بوعيٍ بذاكرة KV مفيدًا؟
إذا أُرسل الطلب إلى وحدة معالجة رسومات لديها بالفعل سياق الطلب مخزن في ذاكرة KV، يمكن إعادة استخدام ذلك السياق بدلًا من معالجته من جديد. لذلك ينبغي أن يوازن التوجيه بين توزيع الحمل والاستفادة من ذاكرة التخزين المؤقت. 17:35
كيف يمكن للتكميم تقليل تكلفة تشغيل النماذج، وما مخاطره؟
يقلل التكميم عدد البتات اللازمة لتخزين أوزان النموذج، ما قد يرفع الإنتاجية ويتيح تشغيل النموذج على موارد أقل. لكن التكميم قد يضعف جودة المخرجات أو استخدام الأدوات، لذا يحتاج إلى اختبارات معيارية وتقييمات عملية قبل تقديم النموذج للمستخدمين. 29:55
كيف يساعد تشبع المساواة في تجميع النماذج؟
بدل الاعتماد على قواعد إعادة كتابة يدوية معقدة، يضيف تشبع المساواة التحويلات المكافئة إلى رسم بياني، ثم يبحث عن بدائل للبرنامج ويقيس أداءها على الأجهزة الفعلية لاختيار الأسرع. 10:59
ما الفكرة وراء الانتباه الجذري في SGLang؟
ينظم الانتباه الجذري البادئات المشتركة بين الطلبات في شجرة، ليتمكن المحرك من إعادة استخدامها بدل إعادة حسابها. وهذا مفيد خصوصًا عندما تشترك طلبات الوكلاء في سياق طويل. 32:05
كيف يمكن لإدارة مستويات متعددة من ذاكرة التخزين المؤقت تسريع الاستدلال؟
يمكن حفظ السياق في مستويات تشمل ذاكرة وحدة معالجة الرسومات وذاكرة المضيف والتخزين، ثم إدارته بسياسات تزيد فرص الوصول إلى الذاكرة المخزنة وتقلل زمن نقل البيانات بين المستويات. وذكر العرض أن ذلك خفّض زمن الاستجابة في تجربتهم بنسبة 56%. 38:58
Related summaries
This Is How You Should Actually Make Launch Videos
AI Safety Fact vs. Fiction | YC Paper Club
Personal AI Is the New Personal Computer
What Humans, Animals and Plants Tell Us About Consciousness | Michael Pollan
This Meta-Harness Changes How You Run AI Agents
