«حقن البرمجة» أصبحت الخطر الرئيسي لمتصفحات الذكاء الاصطناعي - ForkLog: العملات المشفرة، الذكاء الاصطناعي، التفرد، المستقبل

# «حقن الطلبات» أصبحت الخطر الرئيسي لمتصفحات الذكاء الاصطناعي

شركة OpenAI تحدثت عن ثغرة في متصفحات الذكاء الاصطناعي والتدابير لتعزيز أمان حلها الخاص - Atlas.

اعترفت الشركة أن هجمات نوع «حقن الموجه»، التي تتلاعب بالعملاء وتجبرهم على تنفيذ تعليمات ضارة، تشكل خطرًا. ولن يختفي هذا الخطر في المستقبل القريب.

«من غير المحتمل أن يتم القضاء تمامًا على مثل هذه الثغرات، مثل الاحتيال والهندسة الاجتماعية على الإنترنت» ، كتبت OpenAI.

أشارت إلى أن “وضع العميل” في Atlas “يزيد من مساحة التهديد”.

بجانب مشروع سام ألتمان، لفت الانتباه إلى المشكلة خبراء آخرون. في بداية ديسمبر، حذر المركز الوطني للأمن السيبراني في المملكة المتحدة من أن الهجمات التي تتضمن دمج برومبتات ضارة “لن تختفي أبداً”. نصحت الحكومة خبراء الأمن السيبراني بعدم محاولة إيقاف المشكلة، بل تقليل المخاطر والعواقب.

«نحن نعتبر هذا مشكلة أمنية طويلة الأمد في الذكاء الاصطناعي وسنواصل تعزيز تدابير الحماية لدينا»، كما أشارت OpenAI.

تدابير مكافحة

حقن الموجه هو طريقة للتلاعب بالذكاء الاصطناعي، حيث يتم إضافة نص بشكل خاص إلى مدخلاته مما يجعله يتجاهل التعليمات الأصلية.

أعلنت OpenAI عن تطبيق دورة استجابة سريعة احترافية تظهر نتائج واعدة في البحث عن استراتيجيات هجوم جديدة قبل ظهورها “في الظروف الحقيقية”.

تعبّر أنثروبيك وجوجل عن أفكار متشابهة. يعرض المنافسون تطبيق حماية متعددة المستويات وإجراء اختبارات ضغط بشكل مستمر.

تستخدم OpenAI “مهاجمًا آليًا قائمًا على LLM” - روبوت ذكاء اصطناعي تم تدريبه على لعب دور هاكر يبحث عن طرق لاختراق وكيل باستخدام مطالبات خبيثة.

المحتال الاصطناعي قادر على اختبار استغلال الثغرة في محاكي سيظهر تصرفات الشبكة العصبية المستهدفة. ثم سيتعلم الروبوت رد الفعل، ويقوم بتعديل أفعاله، ويقوم بمحاولة ثانية، ثم ثالثة وهكذا.

الأشخاص غير المصرح لهم ليس لديهم حق الوصول إلى معلومات حول تفكير الذكاء الاصطناعي المستهدف. نظريًا، يجب أن يجد “الهاكر الافتراضي” الثغرات أسرع من المهاجم الحقيقي.

«مساعد الذكاء الاصطناعي لدينا يمكنه دفع الوكيل لتنفيذ عمليات ضارة معقدة وطويلة الأمد، والتي يتم تشغيلها على مدى عشرات أو حتى مئات الخطوات. لقد لاحظنا استراتيجيات جديدة للهجمات لم تظهر في حملتنا التي تضمنت أشخاصًا من فريق الاحمر أو في التقارير الخارجية»، كما ورد في مدونة OpenAI.

عرض الاختبار. المصدر: مدونة OpenAI. في المثال المذكور، أرسل المهاجم الآلي رسالة إلى البريد الإلكتروني للمستخدم. ثم قام وكيل الذكاء الاصطناعي بمسح خدمة البريد الإلكتروني ونفذ التعليمات المخفية، حيث أرسل رسالة إنهاء الخدمة بدلاً من إعداد رد على عدم التواجد في العمل.

بعد تحديث الأمان، تمكن “وضع الوكيل” من اكتشاف محاولة حقن مفاجئة للمطالبة ووضع علامة عليها للمستخدم.

أكدت OpenAI أنه على الرغم من صعوبة حماية النوع من الهجمات بشكل موثوق، إلا أنها تعتمد على اختبارات واسعة النطاق ودورات سريعة من الإصلاحات.

توصيات للمستخدمين

أكد رامي مكارتي، الباحث الرئيسي في الأمن في شركة ويز، أن التعلم المعزز هو واحد من الطرق الأساسية للتكيف المستمر مع سلوك المهاجمين، ولكن هذه فقط جزء من الصورة.

«طريقة مفيدة للتفكير في المخاطر في أنظمة الذكاء الاصطناعي هي الاستقلالية مضروبة في الوصول. المتصفحات الوكيلة تقع في جزء معقد من هذه المساحة: استقلالية معتدلة مع وصول مرتفع جدًا. تعكس العديد من التوصيات الحالية هذه المساومة. تقييد الوصول بعد تسجيل الدخول يقلل في المقام الأول من الضعف، ومتطلبات التحقق من الطلبات للحد من الاستقلالية»، قال الخبير.

قدمت OpenAI هاتين التوصيتين للمستخدمين لتقليل المخاطر. كما اقترحstartup إعطاء الوكلاء تعليمات محددة بدلاً من منح الوصول إلى البريد وطلب “اتخاذ أي إجراءات ضرورية”.

ذكر ماككارتي أنه حتى اليوم، فإن المتصفحات التي تحتوي على وكلاء ذكاء اصطناعي مدمجين لا تقدم فائدة كافية لتبرير مستوى المخاطر.

«سيستمر هذا الرصيد في النمو، لكن اليوم لا تزال التنازلات واقعاً حقيقياً»، — اختتم.

نذكّر أنه في نوفمبر، قدم خبراء Microsoft بيئة لاختبار وكلاء الذكاء الاصطناعي وكشفوا عن نقاط الضعف الموجودة في المساعدين الرقميين الحديثين.