يوضح هذا الإثبات الذي يبلغ طوله 90 ثانية عن تهديد أكبر: في حين أن الأموال المغامرة لتصنيع النموذج الكبير (LLM) الوكلاء “انقر” بشكل أسرع ، لا تزال حدود الثقة الاجتماعية والتنظيمية والتقنية فكرة لاحقة. يقوم وكلاء التصفح الذاتي الآن بجدولة السفر ، والتوفيق بين الفواتير ، وقراءة صناديق البريد الوارد الخاصة ، ومع ذلك فإن الصناعة تعامل الأمن كتصحيح ميزة ، وليس فرضية تصميم.
حجتنا بسيطة: يجب أن تعتمد أنظمة الوكلاء التي تفسر وتصرف على محتوى الويب المباشر على بنية أمان قبل أن تتفوق على اعتمادها قدرتنا على احتواء الفشل.انفجار الوكيل
يجلس استخدام المستعرض في مركز انفجار وكيل اليوم. في غضون بضعة أشهر فقط ، استحوذت على أكثر من 60،000 من نجوم جيثب وجولة بذرة بقيمة 17 مليون دولار بقيادة فيليسيس بمشاركة من بول غراهام وآخرون ، حيث وضعت نفسها على أنها “طبقة الوسيطة” بين LLMs و Live Web.
مجموعات أدوات مماثلة-Hyperagent ، SurfGPT ، AgentLoom-هي شحن المكونات الإضافية الأسبوعية التي تعد بأتمتة خالية من الاحتكاك لكل شيء من موافقة المصاريف إلى مراجعة الكود المصدر. يحسب الباحثون في السوق بالفعل 82 ٪ من الشركات الكبيرة التي تدير وكيل منظمة العفو الدولية على الأقل في سير عمل الإنتاج وتوقعوا 1.3 مليار مستخدم وكيل المؤسسة بحلول عام 2028.
لكن الانفتاح نفسه الذي يمنع الابتكار يفضح أيضًا سطح هجوم كبير: تحليل DOM ، والقوالب الفورية ، والمتصفحات غير المقطوعة ، وواجهة برمجة تطبيقات الطرف الثالث ، وبيانات المستخدم في الوقت الفعلي تتقاطع بطرق غير متوقعة.
دراستنا الجديدة ، “المخاطر الخفية المتمثلة في تصفح وكلاء الذكاء الاصطناعي” تقدم أول نموذج للتهديد من طرف إلى طرف لوكلاء التصفح ويوفر إرشادات عملية لتأمين نشرها في البيئات في العالم الحقيقي.
لمعالجة التهديدات المكتشفة ، نقترح استراتيجية دفاع في العمق التي تتضمن تطهير المدخلات ، وعزل المنفذ المخطط ، والمحللون الرسميون ، وضمان الجلسة. هذه التدابير تحمي من كل من المتجهات الهجومية للوصول الأولي وما بعد الاستغلال.
تحليل الصندوق الأبيض
من خلال تحليل الصندوق الأبيض لاستخدام المتصفح ، نوضح كيف يمكن لمحتوى الويب غير الموثوق به اختطاف سلوك الوكيل ويؤدي إلى حرجة الأمن السيبراني انتهاكات. تتضمن النتائج التي توصلنا إليها الحقن الفوري ، وتجاوز التحقق من الصحة ، وترشيح الاعتماد ، يتضح من CVE تم الكشف عنه وإثبات عمل لاستغلال المفاهيم – كل ذلك دون تعثر مرشحات أمان LLM اليوم.
من بين النتائج:
1. حقن الحقن الفوري. حقن عنصر واحد خارج الشاشة تعليمات “النظام” التي أجبرت الوكيل على البريد الإلكتروني تخزين الجلسة إلى مهاجم.
2. تجاوز التحقق من الصحة. فشل مدقق عنوان URL للمتصفح في استخدام المتصفح على متجانسات Unicode ، مما يتيح للخصوم تهريب الأوامر من المجالات المتماثلة.
3. حركة جانبية صامتة. بمجرد أن يكون لدى الوكيل ملفات تعريف الارتباط الخاصة بالمستخدم ، يمكن أن ينتحرها عبر أي متصل SaaS خاصية ، المزج في سجلات الأتمتة المشروعة.
هذه ليست حالات الحافة النظرية ؛ إنها عواقب متأصلة في إعطاء إذن LLM للتصرف بدلاً من مجرد الإجابة ، والذي يتصرف سببًا جذريًا للاستغلال الموضح أعلاه. بمجرد عبور هذا الخط ، يصبح كل بايت من المدخلات (مرئية أو مخفية) حمولة وصول أولية محتملة.
من المؤكد أن الرؤية المفتوحة المصدر والإفصاح عن الفريق الأحمر تسريع – تم شحن المتصفح على تصحيح في غضون أيام من تقرير CVE الخاص بنا. ويمكن للمدافعين بالفعل عوامل صندوق الرمل ، وتعقيم المدخلات ، وتقييد نطاقات الأدوات. لكن هذه التخفيفات هي إضافات اختيارية ، في حين أن التهديد منهجي. بالاعتماد على تقليد ما بعد المخصصة ، يحاكي حروب المتصفح المبكرة ، عندما اتبع الأمان الوظائف ، وأصبحت تنزيلات القيادة هي القاعدة.
مشكلة معمارية
بدأت الحكومات في ملاحظة المشكلة المعمارية. يحث إطار إدارة المخاطر NIST AI المنظمات على الوزن خصوصية، والسلامة والتأثير المجتمعي كمتطلبات هندسية من الدرجة الأولى. يقدم قانون منظمة العفو الدولية في أوروبا الشفافية والتوثيق التقني وواجبات مراقبة ما بعد السوق لمقدمي قواعد النماذج للأغراض العامة التي من المؤكد أنها تغطي أطر عمل الوكيل مثل استخدام المتصفح.
عبر المحيط الأطلسي ، تتوقع قاعدة الكشف عن المخاطر الإلكترونية في الولايات المتحدة لعام 2023 من الشركات العامة أن تكشف الشركات العامة عن حوادث الأمن المادية بسرعة وللتفصيل ممارسات إدارة المخاطر سنويًا. ينصح المحللون بالفعل بلوحات Fortune 500 لعلاج الأتمتة التي تعمل بنيو ذكاء العادات باعتبارها خطورة إلكترونية في ملفات 10-K القادمة. رويترز: “عندما يتسرب وكيل مستقل لبيانات اعتماد ، سيكون للمديرين التنفيذيين مساحة ضئيلة للمناورة ليجادلوا بأن الخرق كان” غير جوهري “.
يجب على المستثمرين تحويل مبالغ من ثمانية أرقام إلى الشركات الناشئة الوكلاء الآن حجز حصة متساوية من المدرج لنماذج التهديد والتحقق الرسمي وتقييم العدواني المستمر. يجب أن تتطلب الشركات التي تقوم بتجربة هذه الأدوات:
العزلة بشكل افتراضي. يجب على الوكلاء فصل المخططين والمنفذين وأوراق الاعتماد في عمليات غير ثقة متبادلة ، والتحدث فقط من خلال رسائل protobuf الموقعة والمحجم.
الربط الإخراج التفاضلي. الاقتراض من الهندسة الحرجة السلامة: تتطلب التوقيع المشترك البشري لأي عمل حساس.
خطوط أنابيب الفريق الأحمر المستمر. جعل العدوى HTML ويطالب Jailbreak جزءًا من CI/CD. إذا فشل النموذج في اختبار واحد ، فقم بإصدار كتلة.
SBOMS المجتمعية. إلى جانب فواتير البرامج للمواد ، يجب على البائعين نشر الأسطح ذات التأثير الأمني: بالضبط البيانات والأدوار والحقوق التي يكسبها المهاجم إذا أطلقت الوكيل. هذا يتماشى مع دعوة AI-RMF للشفافية فيما يتعلق بالمخاطر الفردية والمجتمعية.
اختبارات الإجهاد التنظيمي. يجب أن تجتاز عمليات نشر البنية الحاسمة في امتحانات الفريق الأحمر من طرف ثالث ، نتائجها عالية المستوى ، تعكس اختبارات الإجهاد المصرفي وتعزيز أنظمة الكشف عن الاتحاد الأوروبي والولايات المتحدة.
الدين الأمني
لم تبدأ الويب آمنة وتنمو مريحة ؛ لقد بدأت مريحة ، وما زلنا ندفع ديون الأمن. دعونا لا نتدرب على هذا التاريخ مع عوامل التصفح المستقلة. تخيل الحوادث السيبرانية السابقة مضروبة في العوامل المستقلة التي تعمل بسرعة الماكينة وتحتفظ ببيانات اعتماد مستمرة لكل أداة SaaS ، وخط أنابيب CI/CD ، ومستشعر IoT في المؤسسة. يمكن أن تفعل “علامة DIV غير المرئية” التالية أكثر من تسرب أ كلمة المرور: يمكن أن يعيد كتابة نقاط مجموعة PLC في مصنع للمعالجة المائية ، أو Misroute 911 مكالمات ، أو التنزيل الأكبر في سجلات التقاعد في حالة بأكملها.
إذا ذهب مبلغ الـ 17 مليون دولار التالي إلى بكرات تجريبية بدلاً من الحدود الصلبة ، فإن السرية التي تخسرها في الساعة الثالثة صباحًا قد لا تحرج CTO فقط – فقد يفتح بوابة السلوك على اللوازم السام أو عمليات التسليم في الوقود أو تحطم أحواض الطوارئ. لم يعد هذا الخطر نظريًا ؛ إنه اكتواري ، وتنظيمي ، وفي نهاية المطاف ، شخصية لكل مستثمر ومهندس وصانع سياسات في الحلقة.
الأمن أولاً أو الفشل افتراضيًا للوكيل الذكاء الاصطناعى ليس نقاشًا فلسفيًا ؛ إنه موعد نهائي. إما أن نتحمل تكلفة الثقة الآن ، أو سندفع عدة مرات عندما يقفز أول خرق يحركه الوكيل الفجوة من المتصفح إلى العالم الحقيقي.
نحن نعرض أفضل chatbot منظمة العفو الدولية للأعمال التجارية.
تم إنتاج هذه المقالة كجزء من قناة TechRadarpro Expert Insights حيث نعرض أفضل وألمع عقول في صناعة التكنولوجيا اليوم. الآراء المعبر عنها هنا هي آراء المؤلف وليست بالضرورة آراء TechRadarpro أو Future PLC. إذا كنت مهتمًا بالمساهمة ، اكتشف المزيد هنا: https://www.techradar.com/news/submit-your-story-techradar-pro
مصدر الخبر
نشر الخبر اول مرة على موقع :www.techradar.com
بتاريخ:2025-06-02 11:56:00
الكاتب:
ادارة الموقع لا تتبنى وجهة نظر الكاتب او الخبر المنشور بل يقع على عاتق الناشر الاصلي
