متى يستحق النموذج الأكبر كلفته، ومتى لا يستحقّها

ما الذي تشتريه الحوسبة الإضافية فعلاً

هناك آليتان، تعملان أحياناً منفصلتين وغالباً معاً. الأولى الحجم: وسائط أكثر وحساب أكثر لكل token، وأثر ذلك لا يظهر في نوع مختلف من الجواب بل في نسبة فشل أقل على الـprompt نفسه. والثانية التأنّي: بعض الفئات مسموح لها أن تولّد سلسلة طويلة من الـtokens الوسيطة قبل أن تقول لك حرفاً، أي أنها تكتب مسوّدة تفكيرها قبل أن تجيب. ومهما كانت التسميات التجارية، فالمورد المُباع هو حوسبة لكل جواب.

بهذا المورد تُشترى سلوكيات بعينها: أن يزن النموذج أكثر من قراءة لتعليمة ملتبسة، أن يجرّب مساراً ثم يتركه، أن ينتبه إلى أن الخطوة السادسة تناقض الثانية. خذ الآن سؤالاً فيه بحث واحد وجملة واحدة: تحويل صيغة تاريخ، أو إعادة صياغة فقرة بلغة أبسط. لا شيء يُستكشف، ولا مسار يُترك، ولا تناقض يُلتقط؛ الفئة الصغيرة والفئة الكبيرة تخرجان بالجملة نفسها، وأنت دفعت أكثر وانتظرت أطول: قسط بوليصة لن تُصرف أبداً.

أربع خصائص تدلّ على أنك تحتاج فئة أكبر

الأولى عدد الخطوات التي يجب أن تصحّ معاً. المهمّة التي تتفكّك إلى سلسلة — اقرأ هذا، استنتج ذاك، طبّق القاعدة، تحقّق من القيد — تسقط كلها إذا سقطت حلقة واحدة. والحساب قاسٍ: عشر خطوات موثوقية كل منها 95٪، إذا كانت إخفاقاتها مستقلة، حاصل ضربها نحو 60٪. لكن الإخفاقات في الواقع مترابطة، والنموذج يتدارك خطأه السابق أحياناً، فخذ الـ60٪ اتجاهاً لا تنبؤاً. والاتجاه أن فرقاً صغيراً في موثوقية الخطوة الواحدة يكبر بسرعة حين تتضاعف الخطوات.

الثانية كلفة الجواب الخاطئ. خطأ يكلّفك نصف دقيقة إعادة قراءة رخيص؛ أما بند خاطئ في عقد، أو تحويل جرعة خاطئ، أو سكربت migration يُنفَّذ على قاعدة بيانات الإنتاج، فليس كذلك. وحين تكون الخسارة غير متناظرة بهذا الشكل، لا يكون الحساب على الحالة المتوسّطة: لمستند واحد من هذا النوع، سعر أعلى فئة صغير أمام الاحتمال النادر الذي تتحوّط منه، ويبقى صغيراً حتى لو أزالت الفئة الأكبر جزءاً من المخاطرة لا كلها.

الثالثة: تركيب مقابل استرجاع. «ما رقم الفاتورة؟» استرجاع؛ الجواب في مكان واحد والمهمّة إيجاده. أما «هل يبقى البند 14 نافذاً بعد تعديل الملحق ج، وما أثر ذلك على تاريخ التسليم؟» فيقتضي بناء تمثيل لعدة أشياء معاً ثم الاستدلال انطلاقاً منه. ليس حجم المادة هو ما يصنع الصعوبة، بل عدد القطع التي يجب أن تكون صحيحة في اللحظة نفسها.

الرابعة: هل تستطيع التحقّق من الجواب بثمن زهيد؟ إذا كان التحقّق آلياً — تمرّ الاختبارات، يظهر الرقم حرفياً في المصدر، يُطابق المجموع — فغالباً تتفوّق فئة رخيصة مع تحقّق على فئة غالية بلا تحقّق، وتبقى أرخص حتى بعد حساب المحاولات المعادة. أما إذا كان التحقّق يتطلّب الخبرة نفسها التي جئت تشتريها، فجودة المحاولة الأولى هي كل ما تملك.

أمران يبدو أنهما يدلّان، وهما لا يدلّان

الأول: شعورك بأهمية الموضوع. المادة الطبية والقانونية والمالية تولّد غريزة بالذهاب إلى أعلى فئة متاحة. والغريزة محقّة أحياناً، لكن للسبب السابق — كلفة الخطأ — لا لأن الكلمات طبية. نقل قيم تحليل مختبري إلى جدول: مهمّة سهلة في مجال خطير. وترتيب مناوبات خمسة أشخاص يبدو تافهاً وقد يكون صعباً فعلاً. احكم على العملية لا على الموضوع.

الثاني: طول المدخل. استخراج كل تواريخ التجديد من عقد في مئتي صفحة: مهمّة طويلة مكوّنة من خطوات سهلة كثيرة، لا خطوة صعبة واحدة؛ والفئة التي تتعامل مع فقرة واحدة بشكل صحيح ستصيب غالباً في كل حالة تصل إليها، لكنها لن تجدها كلها بالضرورة، لأن الاسترجاع في الاستخراج متعدّد العناصر يتراجع كلما زاد عدد العناصر وتباعدت مواضعها. وأداء النماذج متفاوت أيضاً في استعمال ما يقع في وسط مدخل طويل جداً، والفئات تختلف في حجم الـcontext الذي تقبله وفي جودة استعمالها له. وهذه مشكلة context لا مشكلة عمق، وحلّها في الغالب استرجاع الصفحات القليلة الصحيحة — وهو موضوع مقالنا عن الإجابة من مستنداتك أنت — لا الصعود فئة.

الاقتصاد بلا تجميل

كلفتان ترتفعان مع الفئة: المال لكل طلب، والوقت حتى يصل الجواب. والثانية يُستهان بها؛ فالفئة التي تتأنّى قبل الرد قد تولّد عدداً كبيراً من الـtokens لن تراه أبداً، وهذا يتحوّل في المنتج التفاعلي إلى انتظار يلاحظه الناس ولا يحبّونه، وفي المعالجة الدفعية إلى إنتاجية أقل. والجودة ترتفع أيضاً، لكن العلاقة ليست تناسبية، وفي أي مهمّة تتقنها الفئة الأرخص أصلاً لا يمكنها أن ترتفع إطلاقاً: لا سقف فوق الصواب. لذلك تنخفض الجودة المشتراة لكل دينار كلما صعدت، وتنخفض أسرع ما تنخفض في الشغل السهل الذي يشكّل عادة معظم الحجم.

ولهذا تنقلب المعادلة مع الكمّية. لمستند واحد مهم، خذ أفضل فئة ولا تفكّر أكثر. أما لخمسين ألف طلب في اليوم، فالهدف أرخص فئة كافية، و«كافية» تُقاس بنسبة فشل اخترتها عمداً، لا بـ«أفضل ما أستطيع». والبنية الشائعة أن تعمل بالرخيص افتراضياً وتصعد عند إشارة: فحص فشل، أو مستخدم اعترض، أو حالة تطابق نمطاً تعرف أنه صعب. وهذا ينفع فقط إذا كانت الإشارة حقيقية؛ وقول النموذج عن نفسه إنه واثق إشارة ضعيفة.

اختبرها على أصعب أمثلتك أنت

المقارنات المنشورة بين الفئات متوسّطات على توزيع مهامّ شخص آخر، والفرق بين فئتين على لوحة صدارة عامة لا يخبرك إلا القليل عن الفرق على شغلك؛ وهي حجّة مقالنا عن قراءة درجات الـbenchmark. فما تعمله أنت أضيق نطاقاً من أي benchmark، وغالباً متجمّع عند طرف واحد منه.

الطريقة غير مبهرة ولا تستغرق أكثر من بضع ساعات. اجمع عشرين إلى أربعين مثالاً حقيقياً من الطرف الأصعب لما تعمله فعلاً، ومعها الأجوبة الصحيحة مكتوبة، أو على الأقل تعريف مكتوب لما يُعدّ خطأ. شغّل الـprompt نفسه على الفئتين، واجعل التصحيح أعمى: لا يعرف المصحِّح أيّ فئة أنتجت أيّ جواب. وعُدّ حالات الفشل لا التفضيل، لأن التفضيل يتبع الطلاقة والنبرة أكثر مما يتبع الصواب.

تحذيران. الـprompt نفسه قد يعطي أجوبة مختلفة بين تشغيلة وأخرى، حتى عند temperature صفر، فشغّل كل حالة أكثر من مرة؛ وفرق حالة واحدة من ثلاثين ضوضاء. واقرأ حالات الفشل ولا تكتفِ بعدّها: إذا فشلت الفئة الأرخص في نوع واحد تستطيع تسميته، فقد وجدت حدّاً حقيقياً وتستطيع تمرير هذا النوع وحده إلى الأعلى. أما الفشل المتفرّق الذي يبدو كسوء فهم للتعليمات، فمصدره على الأرجح الـprompt أو المدخلات، وسترافقك المشكلة إلى الفئات الأغلى في نسخة أغلى منها.

وأعد الاختبار حين تغيّر الـprompt تغييراً جوهرياً، وحين يُحدِّث المزوّد النموذج: الفئة هدف متحرّك، وقد يزيحها التحديث في أي من الاتجاهين على حالاتك أنت.

Firas AI مرتّبة على هذا المحور: Mini وPro وUltra وMax تختلف في مقدار الاستدلال الذي يدخل في الجواب الواحد. ولا شيء ممّا سبق خاصّ بها؛ الاختبار نفسه يعمل مع أي عائلة ذات فئات.