تساعد في فهم ما يحدث عندما تحاول توسيع الآلات فوق عملية واحدة. الآلات هي في حالة: تحمل تاريخ الجلسة، نتائج استدعاء الأداة، والتفكير الوسيط عبر التحويلات. إذا تعطل الحاوية التي.runت عملك، أو أعيد تشغيلها، أو استبدلتها أثناء التحديث، فإن حالة الجلسة تلك gone unless something is explicitly managing it. في نفس الوقت، قد يحتاج فريق مختلف إلى بيئات تشغيل مختلفة، أدوات مختلفة، أسرار مختلفة، إطارات الوصول المختلفة مما يعني أنك لا يمكنك رمي جميع الآلات في حاوية مشتركة واحدة. تدير المنصة شيئين: حاويات للفريق والسياق، والصلاحية عبر إعادة تشغيل الحاوية والترقية. هذين هما primitives البنية التحتية الأساسية التي توفر المنصة.
التصميم والتكنولوجيا
المنصة هي لوحة تحكم Next.js مستقلة للآلات المانجدة من LiteLLM v2، تغطي جلسة الدردشة، CRUD للآلة، ودرجات الحرارة الحية. يكوّن الكود الأساسي TypeScript (92.8%)، مع سكريبت شل للتهيئة، Dockerfile للتصور، وCSS للواجهة المستخدم. يفرق التصميم عن الواجبات نظافة. يركب معالج على 3000 وخدم لوحة تحكم Next.js. يركب معالج آخر للآلة المهام غير المتزامنة. تستخدم PostgreSQL كسجل تراكب دائم، وتجري عملية الترحيل تلقائيًا كحاوية تهيئة - لذلك يكون التطبيق دائمًا في الحالة الصحيحة قبل التشغيل. للطبقة الرملية - البيئة التشغيل المعزولة حيث تنفذ الآلات في الواقع - تجرى الحاويات على Kubernetes عبر kubernetes-sigs/agent-sandbox CRD. تستخدم التطوير المحلي kind. إذا لم تكن قد سمعت عنها من قبل: kind (Kubernetes in Docker) يسمح بتبديد مجموعة كاملة من كتل Kubernetes محليًا باستخدام حاويات Docker كنود، دون الحاجة إلى مزود سحابي. هو كubernetes-sigs/agent-sandbox CRD هو امتداد Kubernetes من kubernetes-sigs الذي تثبته المنصة لإدارة دورة حياة بيئات الحاوية الفردية. تتضمن المنصة أيضًا نظام حشو تحت harnesses/opencode، يحتوي على التكوين للسماح بآلات الترميز - مثل Claude Code أو OpenAI Codex - داخل حاويات معوكة مع وكيل خزنة لإدارة الشفرات. تتبعه فريق BerriAI أيضًا مع litellm-agent-runtime، وهو تكوين للسماح بآلة الترميز التي تجرى داخل VMs المخصصة بواسطة بوابة LiteLLM، مع تصميم عام، مع التخصيص عن طريق التكوين أو حمولة التخمير. يلاحظ التفصيل العملي في كيفية التعامل مع المتغيرات البيئية عبر حاويات الرمل. أي شيء في.env مرفق CONTAINER_ENV_ يتم حقنه في كل حاوية رمل مع الإزالة مسبقًا - مثل CONTAINER_ENV_GITHUB_TOKEN=ghp_... يعني أن الحاوية ترى GITHUB_TOKEN=ghp_... وهذا يوفر طريقة نظيفة للسماح بسرائر في جلسات الآلة المعزولة دون تعديل حاويات الصور. المتطلبات للسماح بالتطوير المحلي هي Docker Desktop، kind، kubectl، helm، وبوابة LiteLLM. لا تحتاج إلى بيانات الاعتماد السحابية للبدء محليًا. هو Startup هو أمران: bin/kind-up.sh هو متكرر - يوفر مجموعة kind مسماة agent-sbx، يثبته معضل حاوية الرمل، ويحمى صورة الحشو. docker compose up يجرى PostgreSQL، يجرى عملية الترحيل، ويبدأ معالج الويب على 3000 مع العامل. للانتشار في الإنتاج، يوصى بAWS EKS للحاوية الرمل، وRender للويب والعامل. bin/eks-up.sh يوفر مجموعة EKS، ويوفر بلوبريند واحد للانتشار. في علاقة مع بوابة LiteLLM، تكون منصة الآلة طبقة فوق النظام الحالي للآلة، وليس استبدالًا لها. هو core LiteLLM هو SDK وServer Proxy - بوابة AI - يجرى 100+ LLM APIs في تنسيق OpenAI، مع تتبعه التكلفة، الحواجز، التوزع، والتسجيل، يدعم مزودي مثل Bedrock، Azure، OpenAI، VertexAI، Cohere، Anthropic، SageMaker، HuggingFace، vLLM، وNVIDIA NIM. تستهلك منصة الآلة بوابة LiteLLM تعمل كعلة، وتبني البنية التحتية لإدارة الآلة والتحكم في الجلسة فوقها. يظل التوجيه، تتبعه التكلفة، وتقييد المعدل في طبقة البوابة. تتركز العزلة، الصلاحية، وواجهة لوحة التحكم في منصة الآلة.
تساعد الرسوم البيانية في في شرح منصة LiteLLM Agent Platform. تشرح الرسوم البيانية في كيف تجرى منصة الآلة فوق بوابة LiteLLM، وكيف تجرى الحاوية، وكيف تجرى الحشو، وكيف تجرى CRD. تشرح الرسوم البيانية في أيضًا كيف تجرى منصة الآلة في الإنتاج، وكيف تجرى التطوير المحلي، وكيف تجرى التطوير المباشر عبر API. تطلق شركة BerriAI منصة LiteLLM Agent Platform، وهي طبقة البنية التحتية المستضافة الذاتية للسماح بالآلات الذكية في الإنتاج مع عزلة الفريق والصلاحية عبر إعادة التشغيل الحاوية. تجرى الحاويات على Kubernetes via kubernetes-sigs/agent-sandbox CRD - محليًا مع kind، في الإنتاج مع AWS EKS - دون الحاجة إلى بيانات الاعتماد السحابية للبدء. تجلس المنصة فوق بوابة LiteLLM الحالية، التي تجرى التوجيه، تتبعه التكلفة، وتقييد المعدل عبر 100+ LLM مزودين في تنسيق OpenAI. هو Startup هو أمران: bin/kind-up.sh يوفر مجموعة kind وتثبته معضل الحاوية، ودocker compose up يجرى PostgreSQL، ويبدأ الويب (3000) والعامل. تطلق تحت رخصة MIT، وتعمل حاليًا في تفضيل عام عام. تحتاج إلى شريك معنا لإعلان موقع GitHub الخاص بك أو صفحة هوجينغ فيس أو إطلاق المنتج أو ندوة؟ اتصل بنا.
