يشهد عالم الذكاء الاصطناعي خطوات متسارعة مع ظهور نماذج أكثر قدرة على تنفيذ المهام واتخاذ القرارات بصورة مستقلة، وهو ما يدفع شركات التكنولوجيا إلى تطوير اختبارات أمان أكثر تطورًا، لمواكبة الإمكانات المتزايدة لهذه النماذج قبل طرحها.
وتحدث شريف جويفل عبر برنامج «X.O» على «نجوم إف.إم»، اليوم الثلاثاء، عن أبرز التطورات التي تشهدها نماذج الذكاء الاصطناعي، مستعرضًا واقعة اختراق إحدى نماذج الـ AI لأنظمة منصة إلكترونية خلال اختبار داخلي لقدرات الأمن السيبراني، في واقعة تسلط الضوء على المخاطر المحتملة للنماذج المتقدمة للذكاء الاصطناعي.
AI Agents
أعلنت شركة «OpenAI» رصد سلوك غير متوقع من أحد نماذج AI Agents خلال اختبارات داخلية، بعدما تمكن من تجاوز بيئة الاختبار والوصول إلى أنظمة خارجية.
الشركة كانت تستهدف اختبار نظام AI Agent جديد وهو مختلف عن روبوتات الدردشة التقليدية، إذ يمكنها تنفيذ مهام كاملة والتخطيط للوصول إلى الهدف المطلوب دون تدخل مباشر من المستخدم.
الاختبار تم داخل بيئات معزولة تعرف باسم «Sandbox»، وهي عبارة عن معمل رقمي معزول عن الإنترنت، يستهدف تقييم قدرات النماذج واكتشاف الثغرات الإلكترونية بشكل آمن.
خلال أحد الاختبارات، تمكن النموذج من اكتشاف ثغرة إلكترونية من نوع «Zero-Day Vulnerability»، استخدمها لتجاوز بيئة الاختبار والوصول إلى الإنترنت.
بحث الـ Agent عن طريقة تساعده في النجاح بالاختبارات، واستنتج إن إحدى المنصات التي تستضيف نماذج الذكاء الاصطناعي وقواعد البيانات الخاصة بها، قد تتضمن المعلومات التي يحتاجها لتحقيق نتائج أفضل في الاختبار.
أظهرت الاختبارات أن النماذج المتقدمة قد تبحث أحيانًا عن وسائل مختلفة لتحقيق الهدف المطلوب منها، حتى إذا لم تبرمج بشكل مباشر على تنفيذ هذه الخطوات
«مواءمة الذكاء الاصطناعي»
نجح النموذج في الوصول إلى معلومات سرية يمكن استخدامها لكن فرق الأمن السيبراني في المنصة بالاستعانة بأنظمة ذكاء اصطناعي دفاعية، أوقف النموذج دون حدوث أية أضرار.
أثارت الواقعة تساؤلات حول قدرة النماذج على الالتزام بالحدود التي يضعها المطورون، خاصة بعدما اختار النموذج وسيلة غير متوقعة لتحقيق الهدف المطلوب، وهو ما أعاد تسليط الضوء على مفهوم «مواءمة الذكاء الاصطناعي».
يستهدف مفهوم «مواءمة الذكاء الاصطناعي» إلى ضمان تنفيذ النماذج للمهام المطلوبة دون اللجوء إلى أساليب قد تكون غير آمنة أو غير أخلاقية.
تتوقع الشركات الإلكترونية تزايد هذه التحديات مع التطور المستمر في قدرات الذكاء الاصطناعي.
يرى خبراء الأمن السيبراني أن التطور المتسارع في قدرات الـ AI يجعله أداة فعالة في اكتشاف الثغرات وتحليلها، وهو ما يعزز دوره في حماية الأنظمة الرقمية، لكنه في الوقت نفسه يفرض تحديات جديدة تتعلق بمنع إساءة استخدام هذه القدرات إذا وقعت في الأيدي الخطأ.
مواضيع ممكن تعجبك
أحدث الأخبار