ICNA

خبرگزاری سایبر ایران

اخبار امنیت حمله

ظهور هوش مصنوعی عامل‌گرا

هوش مصنوعی دیگر فقظ یک پدیده نوظهور نیست، بلکه با سرعت چشمگیر در حال گسترش است. ناگفته پیداست که هوش مصنوعی در تقریبا هر گوشه زندگی امروزه ما خیلی کاربردها دارد و در چند سال اخیر یکی از داغترین مطالب در اخبار فناوری شده است و شرکت‌ها مشغول سرمایه گذاری میلیونها دلار در صنعت هوش مصنوعی هستند. در میان این تحولات، اصطلاحی جدید به چشم میخورد: «هوش مصنوعی عامل‌گرا». لغت هوش مصنوعی عامل گرا که ترکیبی از انعطافپذیری مدل‌های زبانی بزرگ و دقت برنامه‌نویسی سنتی است.

در این گزارش ما به موضوع هوش مصنوعی عمال گرا میپردازیم.

هوش مصنوعی عامل‌گرا دقیقا چیست؟

هوش مصنوعی عامل‌گرا (Agentic AI) یک سیستم یا برنامه هوش مصنوعی است که میتواند با نظارت محدود یا حتی هیچ نظارتی تا به یک هدف تعیین شده دست یابد. این سیستم از عامل‌های هوش مصنوعی تشکیل شده است – مدل‌های یادگیری ماشین که تصمیمگیری انسان را تقلید میکنند تا مشکلات را بطور بیدرنگ حل کنند. سیستم‌های عامل مستقلا عمل میکنند تا وظایف بدون نظارت مداوم انسان انجام دهند. این سیستم‌ها میتوانند اهداف بلندمدت را در نظر داشته باشند، وظایف حل مسئله چند مرحل‌های را مدیریت کنند و پیشرفت خود را در طول زمان پیگیری کنند. عامل‌ها میتوانند از تجربیات خود بیاموزند، بازخورد دریافت کنند و رفتار خود را تنظیم کنند. با وجود محدودیت‌های مناسب، سیستم‌های عامل میتوانند به طور مداوم بهبود یابند .

چرا اهمیت دارد؟

نکته مهم اینجاست که سیستم‌های هوش مصنوعی عاملگرا، دو ویژگی مطلوب را ارائه میدهند: استفاده از مدلهای زبانی بزرگ برای انجام وظایفی که از انعطافپذیری و پاسخهای پویا بهرهمند هستند، در حالی که این قابلیت‌های هوش مصنوعی را با برنامه‌نویسی سنتی برای قواعد دقیق، منطق و کارایی ترکیب میکنند. عامل‌ها میتوانند به طور خودگردان وظایف را انجام دهند و همزمان با دادهها یا محیطهای جدید سازگار شوند .

چالشهای هوش مصنوعی عامل‌گرا چه هستند؟

به وجود اینکه هوش مصنوعی مزایای زیادی به همراه آورده است، احتمال ایراد هنوز وجود دارد. بعضیها باور میکنند که این عوامل انواع حملات سایبری جدید نسبت به مدلهای هوش مصنوعی معرفی کنند و در این بخش چند نمونه آخیر را مرور می کنیم:

حادثه «هاگینگ فیس»:

شرکت «هاگینگ فیس» کاری کرده که فاصله بین مقاله علمی و عملکرد عملی از مدل بسیار کم شده است. این پلتفرم دارای داده‌ها، مدل‌ها و منابع متنوع دیگری است و بدین ترتیب، بعنوان مرکزی برای تمامی مدل‌های هوش مصنوعی شناخته شده است.

در ۲۵ تیرماه، یک رویداد سایبری بیسابقه اتفاق افتاد، عامل‌های هوش مصنوعی شرکت OpenAI برای یافتن راهحل مسئله سایبری از چارچوب‌های تعریفشده این شرکت خارج شدند و به سیستم‌های «هاگینگ فیس» هک کردند. پی این حادثه، OpenAI اعلام کرد که مدل‌های GPT 5.6 Sol و یک مدل دیگر مسئول این حمله بودند و این مدل‌ها با بهره‌برداری از یک آسیبپذیری روز صفر به اینترنت آزاد دسترسی پیدا کردند در حالی که به دنبال راه حلی برای معیار ارزیابی امنیت سایبری هوش مصنوعی به نام “ExploitGym” بودند. پس از نفوذ شناسایی شد، زنجیرهای از اقدامات امنیتی را برای قطع دسترسی مهاجم و افزایش امنیت زیرساختها به کار بست.

OpenAI در بیانیه‌ای اعلام کرد که با مشاوران خارجی همکاری میکند تا این حادثه را بررسی کند و طی هفته‌های آینده یک گزارش فنی منتشر خواهد کرد.

حادثه «آنتروپیک»:

مثل حادثه هاگینگ فیس، شرکت آنتروپیک اعلام کرد که برخی از مدل های خود به دلیل خطای مشابه‌ای در محیط آزمایش، توانسته به سه شرکت نفوذ کنند. در ۸ مردادماه، این شرکت در وبسایت خود اعلام کرد که یک حادثه سایبری صورت گرفته بود و در ادامه، ادعا کرد که در این حمله، از یک آسیبپذیری در یک سرویس شخص ثالث سوءاستفاده کرده و تغییراتی در آن ایجاد کرد. این حادثه قبلا مشاهده نشده و نکته شگفتانگیز این است که این نفوذ کاملا توسط هوش مصنوعی ایجنت‌محور هدایت و اجرا شد.

این حادثه‌ها چالش‌های کنترل و ایمانسازی نسل جدید هوش مصنوعی خودکار را برجسته می کند.

آینده هوش مصنوعی عامل‌گرا چه است؟

آینده نسل جدید به سمت عامل‌های هوشمندتری حرکت می کند. در سال‌های آینده احتملا شاهد سیستم‌هایی خواهیم بود که می توانند بخش بزرگی از کارهای اداری، محتوایی، تحلیلی و فنی را تحت نظارت انسان انجام دهند. هرحادثه‌ای که تاکنون اتفاق افتاده نشان می دهد که شرکت‌ها باید مقررات بیشتری اعمال کنند و فراینده‌های خود را باز طراحی کنند.

LEAVE A RESPONSE

Your email address will not be published. Required fields are marked *