سيسكو تكشف عن FAPO: تحسين استجابات نماذج اللغة الكبيرة المدعوم بالذكاء الاصطناعي مع تحديد الأخطاء وتنسيق كود Claude
في خطوة رائدة نحو تعزيز موثوقية تطبيقات نماذج اللغة الكبيرة (LLM)، أعلنت شركة سيسكو للذكاء الاصطناعي عن إطلاق نظامها الجديد مفتوح المصدر الذي يحمل اسم FAPO (Fully Automated Prompt Optimization). يهدف هذا النظام المتطور إلى معالجة أحد أكبر التحديات في تطوير تطبيقات الذكاء الاصطناعي الحديثة: تحقيق الدقة المطلوبة في استجابات نماذج اللغة الكبيرة، خاصةً في المسارات متعددة الخطوات التي تتطلب ضبطًا دقيقًا وسريعًا. إن القدرة على تحسين الاستجابات بشكل فعال هي مفتاح لضمان أداء مستقر وموثوق لهذه النماذج، وهذا ما يسعى FAPO لتحقيقه من خلال منهجيته المبتكرة.
لطالما كان ضبط "الاستجابات" (Prompts) الصحيحة يمثل الجزء الأصعب في بناء تطبيقات LLM موثوقة. فالتغييرات الطفيفة في الصياغة يمكن أن تؤثر على الدقة بنسبة تصل إلى 20%، وما ينجح في عدد قليل من الأمثلة غالبًا ما يفشل عند التوسع. وعندما يعطي مسار عمل متعدد الخطوات إجابة خاطئة، فإن تحديد الخطوة الفاشلة يتطلب فحص المخرجات الوسيطة يدويًا، وهي عملية تستغرق وقتًا وجهدًا كبيرين. هنا يأتي دور FAPO لتبسيط هذه العملية وتوفير حل شامل.
ما هو نظام FAPO؟
FAPO، وهو اختصار لـ "التحسين التلقائي الكامل للاستجابات" (Fully Automated Prompt Optimization)، هو نظام مدعوم بكود Claude مصمم لتحسين مسارات عمل نماذج اللغة الكبيرة (LLM) من الاستجابات الأساسية إلى الدقة المستهدفة. كل ما يحتاجه المستخدم هو تزويد النظام بمجموعة بيانات واستجابة أولية. بعد ذلك، يقوم FAPO بتقييم الأداء، وتصنيف حالات الفشل، واقتراح متغيرات جديدة، والتحقق منها، ومن ثم التكرار في عملية تحسين مستمرة. يتم تنسيق هذه الحلقة بأكملها بواسطة وكلاء كود Claude، مما يضمن سير العمل بسلاسة وفعالية.
يتميز المشروع بكونه مفتوح المصدر بموجب ترخيص Apache 2.0، ويدعم أيضًا Codex كوكيل للتحسين، مما يتيح مرونة كبيرة للمطورين والباحثين. هذا الانفتاح يعزز التعاون ويسرع الابتكار في مجال تحسين نماذج اللغة الكبيرة.
كيف يعمل نظام FAPO؟
يعتمد FAPO على حلقة مغلقة من التحسين تعمل حتى يتم الوصول إلى الدقة المستهدفة. تتكون كل دورة من ست مراحل رئيسية:
- التقييم (Evaluate): يتم تشغيل سلسلة العمل على مجموعة البيانات وجمع الدرجات لكل حالة ومخرجات على مستوى الخطوة.
- التحديد (Attribute): تصنيف حالات الفشل حسب السبب الجذري باستخدام قواعد إرشادية وتحليل LLM.
- الاقتراح (Propose): توليد متغير جديد يستهدف المجموعة المهيمنة من حالات الفشل.
- المراجعة (Review): يقوم وكيل مستقل بالتحقق من صحة الاقتراح لضمان الامتثال للنطاق وعدم تسرب البيانات.
- المقارنة (Compare): قبول المتغير فقط إذا كان يحسن الأداء مقارنةً بأفضل نتيجة سابقة، وإلا يتم رفضه.
- التكرار (Iterate): الاستمرار في العملية حتى يتم الوصول إلى الدقة المستهدفة أو استنفاد ميزانية التحسين.
يعمل النظام على ثلاثة مستويات تصاعدية لضبط التحسين: تعديلات الاستجابات (أقل تكلفة وتُجرب أولاً)، ثم تغييرات المعلمات (تعديل قيم التكوين مثل retrieval_k أو temperature)، وأخيرًا التغييرات الهيكلية (تعديل هيكل السلسلة، مثل إضافة عقدة للتفكير الذاتي أو التحول إلى نمط ReAct). يقوم FAPO باستنفاد مستوى واحد قبل الانتقال إلى المستوى التالي لضمان الكفاءة القصوى.
يقوم النظام بتصنيف حالات الفشل إلى أربع فئات رئيسية لتمكين التحديد الدقيق: حالات فشل الاسترجاع (إرجاع محتوى فارغ أو غير ذي صلة)، حالات الفشل المتتالية (تبدأ عندما تنتج خطوة مبكرة مخرجًا فارغًا)، حالات فشل التنسيق (إخفاء الإجابة الصحيحة داخل نص لا يمكن للمُسجل تحليله)، وحالات فشل الاستدلال (عندما تؤدي المدخلات الجيدة إلى استنتاج خاطئ). تعتبر مشكلات التنسيق والاستدلال قابلة للمعالجة على مستوى الاستجابة، بينما تُعالج مشكلات الاسترجاع والتتالي على المستوى الهيكلي.
لضمان عدم الإفراط في التخصيص (overfitting)، يطبق FAPO حواجز حماية صارمة. فهو يفحص حالات التقسيم التدريبي فقط، بينما تكشف مجموعات التحقق والاختبار عن الدرجات الإجمالية فقط. يتم تخزين كل متغير كملف جديد غير قابل للتعديل، ويقوم مراجع مستقل بفحص كل اقتراح قبل تنفيذه.
FAPO في مقابل GEPA: دراسة معيارية
في تقييم أجرته سيسكو، تم اختبار FAPO مقابل GEPA (Generalized Evolutionary Prompt Architecture)، وهي طريقة متطورة لتحسين الاستجابات. بدأ كلا النظامين من مسارات عمل واستجابات أساسية متطابقة. كان بإمكان FAPO التصعيد إلى تغييرات هيكلية عندما تحدد الأخطاء وجود اختناقات، بينما كان GEPA مقتصرًا على تحسين مستوى الاستجابة فقط. شملت المقارنة ستة معايير وثلاثة نماذج مهام: GPT-4.1-mini، GPT-5.4-mini، و Gemma 3-12B. عمل Claude Opus 4.6 كمنسق لـ FAPO وعاكس لـ GEPA.
أظهرت النتائج تفوقًا واضحًا لـ FAPO، حيث فاز في 15 من أصل 18 مقارنة معيارية للنماذج، بمتوسط ربح قدره +14.1 نقطة مئوية مقارنة بـ GEPA. وفي معيارَي HoVer و IFBench، حيث صعد FAPO إلى تغييرات في مسار العمل، فاز في جميع الأزواج الستة للنماذج والمعايير، بمتوسط ربح بلغ +33.8 نقطة مئوية. حتى في المعايير الأربعة التي لم تتضمن تغييرات هيكلية، فاز FAPO في 9 من أصل 12 من خلال تحسين الاستجابات وحدها. كانت AIME هي المعيار الوحيد الذي تفوق فيه GEPA، ولكن بفارق ضئيل ضمن ضوضاء العينات.
حالات الاستخدام المستهدفة
يستهدف FAPO مسارات عمل نماذج اللغة الكبيرة (LLM) متعددة الخطوات، وليس الاستجابات الفردية. تتضمن بعض الأمثلة المحددة لحالات الاستخدام:
- الإجابة على الأسئلة متعددة القفزات (Multi-hop question answering): حيث تسترجع السلسلة المستندات، وتستخرج الحقائق، وتستدل على الأدلة، وتنسق الإجابة. في تجربة موثقة من سيسكو، ارتفعت دقة سلسلة الإجابة على الأسئلة متعددة القفزات من 39.3% إلى 70.3% في مطابقة التحقق الدقيقة عبر تكرارين.
- اتباع التعليمات (Instruction following): في معيار IFBench، أدت حالات الفشل المتعلقة بقيود التنسيق إلى دفع FAPO للتصعيد إلى ما هو أبعد من الاستجابات، مما أدى إلى تحقيق دقة اختبار بلغت 80.7%.
- التصنيف (Classification): يمكن بناء مهمة تصنيف أسماء البرامج إلى فئاتها بواسطة كود Claude، ثم تحسينها لتحقيق أهداف مطابقة دقيقة.
- وكلاء ReAct (ReAct agents): يقوم امتداد سير عمل MCP بتحسين وكيل ReAct الذي يستدعي الأدوات باستخدام تسجيل المسار وتسجيل LLM-as-Judge.
إن أسرع طريقة لبدء العمل مع FAPO هي السماح لكود Claude بإنشاء ملفات المستأجر. فمن المستودع، يمكن وصف المهمة باللغة الإنجليزية البسيطة، ثم إضافة مجموعة بيانات JSONL، حيث يمثل كل سطر حالة اختبار واحدة.
نقاط القوة والضعف
يتمتع نظام FAPO بالعديد من نقاط القوة التي تجعله أداة قيمة:
- تسجيل الأخطاء الواعي بالمسار: ينسب الأخطاء إلى الخطوة التي تسببت فيها، وليس فقط إلى الناتج النهائي.
- التصعيد ثلاثي المستويات: يعالج حالات الفشل التي لا يمكن لإعدادات الاستجابات وحدها إصلاحها.
- حواجز الحماية ضد الإفراط في التخصيص: تشمل فحص حالات التقسيم التدريبي فقط، والمتغيرات غير القابلة للتغيير، ومراجعًا مستقلاً لكل اقتراح.
- مفتوح المصدر: بموجب ترخيص Apache 2.0، ويدعم كلاً من Claude Code و Codex.
ومع ذلك، توجد بعض نقاط الضعف التي يجب أخذها في الاعتبار:
- جودة البيانات: جودة التحسين مقيدة بجودة وتغطية مجموعة البيانات التي يجب على المستخدم توفيرها.
- سجل الإنتاج: المشروع حديث نسبيًا، لذا فإن سجلات الإنتاج المستقلة لا تزال محدودة.
- الاعتماد على أدوات الترميز الوكيلية: تعتمد الحلقة الافتراضية على أدوات الترميز الوكيلية (Claude Code أو Codex) بدلاً من مُحسِّن مستقل بذاته.
ماذا يعني هذا لك؟
بالنسبة للمطورين والشركات التي تعتمد بشكل متزايد على نماذج اللغة الكبيرة في تطبيقاتها، يمثل FAPO قفزة نوعية. يعني هذا النظام أنك لم تعد مضطرًا لقضاء ساعات لا حصر لها في فحص مخرجات LLM يدويًا لتحديد سبب الأخطاء. بفضل قدرته على تحديد الأخطاء على مستوى الخطوات والتصعيد الذكي بين مستويات التحسين، يمكن لـ FAPO أن يقلل بشكل كبير من وقت وتكلفة تطوير ونشر تطبيقات LLM الموثوقة. سواء كنت تقوم ببناء أنظمة إجابة على الأسئلة، أو روبوتات محادثة، أو أدوات تصنيف، فإن FAPO يوفر لك إطارًا قويًا ومفتوح المصدر لضمان أن نماذجك تعمل بأقصى دقة وفعالية.
كما أن طبيعته مفتوحة المصدر تعني أن المجتمع يمكنه المساهمة في تطويره وتكييفه مع احتياجات محددة، مما يفتح الباب أمام المزيد من الابتكارات. هذا النظام لا يحسن فقط أداء LLMs، بل يجعل تطويرها أكثر سهولة وكفاءة، مما يمكن الشركات من تقديم منتجات وخدمات قائمة على الذكاء الاصطناعي بشكل أسرع وأكثر موثوقية.
الخاتمة
يمثل إطلاق Cisco AI لنظام FAPO إنجازًا مهمًا في مجال الذكاء الاصطناعي، حيث يوفر حلاً شاملاً وفعالاً لمشكلة تحسين استجابات نماذج اللغة الكبيرة. من خلال قدرته على أتمتة عملية التحسين وتحديد الأخطاء بدقة على مستوى الخطوات، يقدم FAPO للمطورين أداة قوية لزيادة دقة وموثوقية تطبيقات LLM متعددة الخطوات. وبفضل نهجه مفتوح المصدر ودعمه من قبل كود Claude، من المتوقع أن يلعب FAPO دورًا محوريًا في تسريع تطوير ونشر تطبيقات الذكاء الاصطناعي المبتكرة في المستقبل.
المراجع:
FAPO stands for Fully Automated Prompt Optimization
.
