اضافه شدن Prompt Injection به حملات Image Scaling تهدیدی تازه برای سیستم‌های هوش مصنوعی

با گسترش استفاده از ابزارهای پردازش و تولید تصویر مبتنی بر هوش مصنوعی، نیاز به امنیت کامل در این فرایند بیشتر از همیشه احساس می‌شود. پژوهشگران اخیراً از یک روش حمله جدید پرده برداشته‌اند که با ترکیب حملات Image Scaling و Prompt Injection، امکان استخراج داده‌ها از طریق تصاویر را فراهم می‌کند.

ترکیب حمله Prompt Injection با Image Scaling

طبق گزارش منتشرشده توسط شرکت امنیت سایبری Trail of Bits، این نوع حمله از فرایند کوچک‌سازی تصاویر در سیستم‌های AI برای اجرای اقدامات مخرب بهره می‌گیرد. حملات Image Scaling نخستین بار در سال ۲۰۲۰ توسط محققان دانشگاه فنی براونشوایگ آلمان معرفی شد. در این حملات، مهاجم با سوءاستفاده از کوچک‌سازی تصاویر ورودی، نحوه پردازش آن‌ها توسط مدل را تغییر می‌دهد.

Trail of Bits نشان داد که می‌توان در یک تصویر، یک prompt مخرب قرار داد که در حالت عادی و مقیاس کامل دیده نمی‌شود؛ اما زمانی که سیستم AI تصویر را برای پردازش کوچک‌سازی می‌کند، این prompt برای مدل قابل‌مشاهده می‌شود. سپس مدل آن را به‌عنوان دستور تلقی کرده و بدون اطلاع کاربر اقدام مخرب موردنظر را اجرا می‌کند.

در آزمایش انجام‌شده، پژوهشگران این روش را علیه Gemini CLI با پیکربندی پیش‌فرض سرور Zapier MCP آزمایش کردند. آن‌ها تصویری حاوی prompt مخرب آپلود کردند که باعث استخراج داده‌های کاربر از Google Calendar و ارسال به یک ایمیل مشخص شد.

اکثر سیستم‌های AI در برابر این حمله آسیب‌پذیرند

به گفته پژوهشگران، این حمله با تغییرات جزئی قابل پیاده‌سازی روی بسیاری از سیستم‌هاست، از جمله:

رابط وب Gemini
API جمینی از طریق llm CLI
Vertex AI با بک‌اند Gemini
Google Assistant در اندروید
Genspark

برای آزمایش بیشتر، پژوهشگران ابزار متن‌باز جدیدی به نام Anamorpher در گیت‌هاب منتشر کرده‌اند. این ابزار با پشتیبانی از Python API به کاربران اجازه می‌دهد حملات Prompt Injection چندحالته (multimodal) را در عمل مشاهده کنند. این ابزار در حال حاضر در نسخه بتا قرار دارد و تصاویری می‌سازد که هنگام کوچک‌سازی حاوی prompt مخرب می‌شوند.