أحمدرضا صمدي / الصفحة الرئيسيةشرح · وكلاء الذكاء الاصطناعي والصلاحيات
أمان وكلاء الذكاء الاصطناعي: حدود قبل التنفيذ
المساعد الذي يجيب عن سؤال فقط، والوكيل الذي يستطيع استخدام الأدوات، لا يحتاجان إلى الضمانات نفسها. عندما يستطيع البرنامج اتخاذ إجراء، تصبح الصلاحيات جزءاً من تصميم المنتج.
نظرة سريعة
قبل منح وكيل ذكاء اصطناعي صلاحية الوصول، حدّد الحساب الذي يعمل باسمه والبيانات والأدوات التي يستطيع الوصول إليها، وما إذا كان يقرأ فقط أو يستطيع التغيير، والإجراءات التي تتطلب موافقة. افرض الصلاحيات خارج النموذج، وسجّل المحاولات والإخفاقات، واحتفظ بطريقة لإلغاء الوصول. لا يثبت أي حد منفرد أمان الوكيل.
في ٢٨ سبتمبر، أعلنت NVIDIA منصة Open Agent Safety. يجمع الإعلان برنامج OpenShell مع تصميم مرجعي منفصل باسم Sentry. وهذا يطرح سؤالاً مهماً: أين تُفرض حدود وكيل الذكاء الاصطناعي، وماذا يحدث إذا حاول تجاوزها؟
لماذا لا تكفي التعليمات الجيدة؟
يمكن لروبوت محادثة أن يشرح طريقة تنظيم البريد. أما الوكيل الذي يملك وصولاً إلى البريد فقد يرسل الرسائل أو ينقلها أو يحذفها. يحتاج النظام الثاني إلى حدود صريحة للحساب الذي يستخدمه والبيانات التي يصل إليها والأدوات المسموح بها والإجراءات التي تتطلب موافقة شخص. لا تحل التعليمات داخل الطلب محل صلاحيات قابلة للتنفيذ خارج النموذج.
ما دور OpenShell وSentry؟
وفقاً لـNVIDIA، OpenShell بيئة تشغيل آمنة ومفتوحة المصدر تتتبع إجراءات الوكيل وتطبّق السياسات أثناء عمله. وتقول NVIDIA إن البرنامج متاح الآن على نطاق واسع. تهدف هذه الحدود البرمجية إلى تقييد ما يستطيع الوكيل فعله حتى لو طلب النموذج صلاحية أوسع.
أما Sentry فهو مختلف: تصفه NVIDIA بأنه مراقب مستقل ضمن تصميم مرجعي يستخدم معالجات BlueField-4. صُمم لمراقبة سلوك الوكيل وعزله إذا تجاوز حدوده. لا يعني هذا الإعلان أن Sentry موجود في كل مساعد ذكاء اصطناعي، أو أن كل استخدام لـOpenShell يتضمن هذه الطبقة العتادية.
في اختبار مقترح، ما الحدود الأربعة التي سأراجعها قبل منح الوصول؟
- الهوية: باسم أي مستخدم أو حساب خدمة يعمل الوكيل؟
- النطاق: ما الملفات والرسائل والسجلات والأدوات التي يستطيع الوصول إليها؟
- الإجراء: هل يقرأ فقط أم يستطيع أيضاً الإرسال والتعديل والحذف؟
- الرقابة: ما الإجراءات التي تتطلب موافقة، وكيف تُسجّل المحاولات والإخفاقات؟
يساعد تشبيه الغرفة والحارس: امنح الوصول إلى غرفة واحدة وراقب الباب بشكل مستقل. لكن وجود حد واحد لا يثبت وحده أمان الوكيل. ما زالت الفرق بحاجة إلى اختبارات تناسب المهمة، ومسار للمراجعة، وطريقة لإلغاء الوصول.
ما الذي سأختبره قبل السماح للوكيل بإرسال بريد؟
سأبدأ بحالة استخدام ضيقة: يكتب الوكيل مسودة، لكن شخصاً يراجع المستلم والمحتوى قبل الإرسال. بعدها أختبر ما يحدث إذا قرأ الوكيل تعليمات مضللة داخل رسالة، أو طلب أداة خارج نطاقه، أو أعاد المحاولة بعد رفض الطلب. عندئذ فقط يمكن التفكير في استقلالية أوسع، مع فائدة قابلة للقياس وخطة واضحة للتراجع.
تابع النقاش
يشرح منشور Instagram المكوّن من سبع شرائح الفكرة بصرياً، ويناقش منشور LinkedIn المصوّر حدود الصلاحيات بمزيد من التفصيل. وللسؤال المتعلق بما يستطيع المساعد المتصل قراءته أو تغييره، اقرأ ربط التطبيقات بالذكاء الاصطناعي.
المصدر
- NVIDIA Newsroom، «NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment»، ٢٨ سبتمبر ٢٠٢٦. القدرات المذكورة هنا هي وصف NVIDIA لمنتجاتها وليست تقييماً أمنياً مستقلاً.