Deployment

Model Optimizer NVIDIA

نشر نموذج لغة كبير مُضغوط أو غير مضغوط كنقطة نهاية متوافقة مع OpenAI باستخدام vLLM أو SGLang أو TRT-LLM.

Serve a quantized or unquantized LLM checkpoint as an OpenAI-compatible API endpoint using vLLM, SGLang, or TRT-LLM.

كيفية الحصول على المهارة

مهارة وكيل (Agent Skill) من NVIDIA. حمّلها أو استنسخها ثم ثبّتها لدى وكيلك.

عرض على GitHub ⬇ تحميل ZIP الناشر: NVIDIA

استنسخ المستودع: git clone https://github.com/NVIDIA/skills.git
انسخ مجلد المهارة (الذي يحتوي على SKILL.md) إلى مجلد مهارات وكيلك، مثل .claude/skills/.
أعد تشغيل/تحميل الوكيل ليكتشف المهارة تلقائياً.
راجع SKILL.md للاطّلاع على أي تعليمات أو متطلّبات خاصة.

البحث والاستعلام عن نتائج التقييم المخزنة في MLflow.

تنفيذ أوامر داخل حاوية Docker بعيدة عبر نظام نقل الأوامر القائم على الملفات (tools/debugger).

تقييم دقة نماذج اللغات الكبيرة المضغوطة أو غير المضغوطة باستخدام NeMo Evaluator Launcher.

تشغيل ومراقبة وتحليل وتصحيح تقييمات نماذج اللغات الكبيرة عبر nemo-evaluator-launcher.