هوش مصنوعی سازمانی؛ از فرصت بزرگ تا ریسک‌های امنیتی
امروزه بحث درباره ارزش افزوده هوش مصنوعی و مزایای استفاده از آن در شرکت ها و سازمان ها به پایان رسیده و چالش کنونی، پیاده‌سازی آن در مقیاس وسیع و به‌صورت امن در تمام بخش‌های سازمان است؛ آن هم در شرایطی که هیئت‌مدیره برای حرکت سریع‌تر فشار وارد می‌کند. سازمان‌ها باید بر پذیرش هوش مصنوعی با سرعت کسب‌وکار تمرکز کنند، بدون اینکه کنترل خود بر ریسک سایبری را از دست بدهند. هوش مصنوعی همین حالا درون سازمان‌ها حضور دارد، اما همیشه از مسیر رسمی وارد نمی‌شود. این فناوری از طریق پلتفرم‌های مورد تأیید، راهکارهای موقتی کارکنان، افزونه‌های SaaS، ابزارهای فروشندگان، آزمایش‌های داخلی و تیم‌های توسعه‌ای که می‌خواهند سریع‌تر حرکت کنند وارد سازمان می‌شود.
اینکه هوش مصنوعی با چه عمق و سرعتی باید در سازمان ادغام شود، تا حد زیادی به نوع هوش مصنوعی مورد استفاده بستگی دارد؛ هرچه هوش مصنوعی از یک ابزار کاملاً یا نیمه‌خودکار برای کمک به افراد، به سیستمی تبدیل شود که در سراسر سیستم‌های سازمانی اقدام انجام می‌دهد، دیگر نمی‌توان با آن صرفاً به‌عنوان یک ابزار بهره‌وری برخورد کرد. چنین وضعیتی سطح حمله سازمان را به‌طور چشمگیری گسترش می‌دهد و ریسک‌های امنیتی جدیدی ایجاد می‌کند.
البته در ایران هنوز سازمان ها به سمت استفاده از هوش مصنوعی عامل محور نرفته اند و بیشتر به شکل هوش مصنوعی های مولد برای تولید متن ، ویدیو و کد های نرم افزاری استفاده می شوند اما پذیرش سریع هوش مصنوعی سازمانی هم از بالا به پایین و هم از پایین به بالا در حال پیشرفت است. مدیران ارشد معمولاً ضرورت نظارت را تشخیص می‌دهند، اما اغلب یک چارچوب اثبات‌شده و قابل اتکا برای اجرای آن در اختیار ندارند. از سوی دیگر، کارکنان نیز معمولاً ابزار و دانش کافی برای ارزیابی پیامدهای امنیتی ابزارهایی که خودشان انتخاب می‌کنند ندارند.
ریسک‌های پنهان هوش مصنوعی
سطح حمله هوش مصنوعی یک مرز ثابت و مشخص نیست. این سطح حمله هر جا که هوش مصنوعی پذیرفته، یکپارچه یا ساخته شود، گسترش پیدا می‌کند. نقاط ورود به سازمان که با بیشترین سرعت در حال افزایش هستند، معمولاً همان نقاطی نیستند که تحت بررسی فعال تیم امنیت قرار دارند. این موضوع فرصت بیشتری برای سوءاستفاده سریع‌تر ایجاد می‌کند. سه مورد اصلی عبارت‌اند از:
- هوش مصنوعی بدون حاکمیت، از جمله هوش مصنوعی سایه‌ای (َShadow AI)
- یکپارچه‌سازی‌های موردی و بدون برنامه‌ریزی
- عامل‌های هوش مصنوعی (Agentic AI) با مجوزهای بیش از حد.
اگر بخواهیم به یکی از این موارد بپردازیم میتوان به هوش مصنوعی سایه‌ای یا Shadow AI اشاره کرد، که به استفاده غیرمجاز و بدون نظارت از هوش مصنوعی توسط اعضای یک سازمان گفته می‌شود. هوش مصنوعی سایه‌ای می‌تواند یک مشکل امنیتی باشد، زیرا بدون اینکه تیم‌های امنیتی از آن اطلاع داشته باشند، سطح حمله سازمان را گسترش می‌دهد. همچنین بسته به اینکه مدل‌های هوش مصنوعی به چه اطلاعاتی دسترسی دارند، احتمال نشت داده‌ها افزایش پیدا می‌کند.
برای مثال، ممکن است یکی از کارکنان بخش بازاریابی، یک پایگاه داده حاوی اطلاعات مشتریان بالقوه را در یک مدل زبانی بزرگ (LLM) مانند ChatGPT آپلود کند و از آن بخواهد گزارشی تهیه کند، بدون اینکه بداند این کار ممکن است یک نقض امنیتی محسوب شود.
از سوی مهاجمان نیز چشم‌انداز تهدید به شکلی تغییر کرده که این میزان از مواجهه با خطر، بیش از پیش به نفع آنهاست و در نتیجه پیامدهای جدی‌تری برای قربانیان سازمانی ایجاد می‌کند.
هوش مصنوعی پرسش‌های طراحی جدیدی ایجاد می‌کند که به‌سادگی ممکن است نادیده گرفته شوند: درخواست‌ها (Promptها) چگونه مدیریت می‌شوند؟ چه داده‌هایی بازیابی می‌شوند؟ Embeddingها چگونه ذخیره می‌شوند؟ پایگاه‌های داده برداری چگونه محافظت می‌شوند؟ خروجی مدل چگونه اعتبارسنجی می‌شود؟ و اگر سیستم دستکاری شود چه اتفاقی خواهد افتاد؟
الزامات امنیتی اختصاصی هوش مصنوعی باید پیش از ساخت سیستم تعریف شوند. برنامه‌های کاربردی هوش مصنوعی مرتباً وارد محیط عملیاتی می‌شوند، بدون اینکه الزامات امنیتی در هیچ مرحله‌ای از فرایند توسعه تعریف، آزمایش یا اعتبارسنجی شده باشند.
چرا باید امنیت AI را در تمام چرخه عمر آن مدیریت کنیم؟
امنیت هوش مصنوعی نباید فقط در زمان خرید یا راه‌اندازی یک ابزار بررسی شود.
امنیت باید در تمام چرخه عمر یک سیستم AI در نظر گرفته شود.
در هر مرحله، کنترل‌های موردنیاز ممکن است متفاوت باشند؛ اما چند اصل همیشه ثابت هستند:
- شناسایی محل استفاده از AI
- طبقه‌بندی ریسک
- تعیین مسئول مشخص
- محدود کردن دسترسی
- بررسی و اعتبارسنجی کنترل‌های امنیتی
- آماده شدن برای سناریوهای مختلف حمله و حادثه
بهتر است این اقدامات قبل از آنکه AI وارد فرایندهای حیاتی سازمان شود انجام شوند.
۱. استراتژی و تعریف کاربرد
سازمان باید از ابتدا مشخص کند:
- چه کسی مالک یک پروژه یا کاربرد AI است؟
- چه کسی اجازه تأیید آن را دارد؟
- چه کسی بر عملکرد آن نظارت می‌کند؟
- در صورت ایجاد مشکل، چه کسی مسئول است؟
این مسئولیت‌ها باید میان بخش‌های مختلف مانند کسب‌وکار، فناوری، امنیت، حقوقی، حریم خصوصی، انطباق و مدیریت ریسک مشخص شوند.
چالش رایج: بسیاری از سازمان‌ها AI را بدون مشخص کردن مسئولیت‌ها به‌کار می‌گیرند.
در نتیجه مشخص نیست چه کسی باید استفاده از ابزار را تأیید کند، چه کسی بر آن نظارت داشته باشد و در صورت ایجاد خسارت یا مشکل تجاری، چه کسی پاسخ‌گو باشد.
۲. طراحی و توسعه
هوش مصنوعی سؤالات امنیتی جدیدی را وارد فرایند توسعه می‌کند.
برای مثال:
- Promptها چگونه مدیریت می‌شوند؟
- چه داده‌هایی در اختیار مدل قرار می‌گیرد؟
- Embeddingها کجا ذخیره می‌شوند؟
- پایگاه‌های داده برداری چگونه محافظت می‌شوند؟
- خروجی مدل چگونه اعتبارسنجی می‌شود؟
- اگر سیستم دستکاری شود چه اتفاقی می‌افتد؟
این الزامات امنیتی باید قبل از ساخت سیستم مشخص شوند.
چالش رایج: برخی برنامه‌های AI بدون تعریف و آزمایش الزامات امنیتی کافی وارد محیط عملیاتی می‌شوند.
۳. پذیرش AI و انتخاب فروشنده
چه سازمان بخواهد یک پلتفرم AI مبتنی بر SaaS خریداری کند، چه یک مدل متعلق به شرکت دیگر را به سیستم خود متصل کند و چه از یک مدل پایه از طریق API استفاده کند، پیامدهای امنیتی این انتخاب باید قبل از امضای قرارداد بررسی شوند.
سازمان باید مشخص کند که آیا بهتر است:
- سیستم را خودش بسازد؛
- یک محصول آماده خریداری کند؛
- یا یک سرویس موجود را با سیستم‌های خود یکپارچه کند.
این فقط یک تصمیم درباره هزینه و قابلیت‌های فنی نیست.
انتخاب یک راهکار AI، یک تصمیم امنیتی نیز محسوب می‌شود.
چالش رایج: سرعت خرید و پیاده‌سازی ابزارهای AI اغلب از سرعت انجام بررسی‌های امنیتی و ارزیابی ریسک بیشتر است.
۴. استقرار و یکپارچه‌سازی
حتی اگر یک برنامه در مرحله طراحی بررسی امنیتی خوبی را پشت سر گذاشته باشد، ممکن است هنگام استقرار به شکل ناامن پیکربندی شود.
یکی از رایج‌ترین مشکلات در این مرحله، دسترسی بیش از حد است.
برای مثال، ممکن است یک سیستم AI به اطلاعات حساس سازمان دسترسی پیدا کند، فقط به این دلیل که دادن این سطح از دسترسی ساده‌تر بوده است؛ نه به این دلیل که واقعاً به آن نیاز داشته است.
چالش رایج: سیستم‌های AI گاهی با دسترسی‌هایی وارد محیط عملیاتی می‌شوند که هیچ‌وقت به‌صورت رسمی بررسی نشده‌اند و بعداً نیز دوباره ارزیابی نمی‌شوند.
۵. عملیات، نظارت و توسعه
ریسک یک سیستم AI بعد از راه‌اندازی ثابت نمی‌ماند.
ممکن است:
- مدل به‌روزرسانی شود
- قابلیت‌های جدید اضافه شوند
- اتصال‌های جدید ایجاد شوند
- کاربرد سیستم گسترش پیدا کند
- سطح دسترسی افزایش پیدا کند
هر یک از این تغییرات می‌تواند سطح ریسک را تغییر دهد.
بنابراین سازمان باید یک فهرست به‌روز از موارد زیر داشته باشد:
- برنامه‌های AI
- سرویس‌های AI
- اتصال‌ها و یکپارچه‌سازی‌ها
- مدل‌های مورد استفاده
- داده‌هایی که AI به آنها دسترسی دارد
همچنین باید با تغییر قابلیت‌ها و نحوه استفاده، ریسک سیستم‌ها به‌صورت دوره‌ای دوباره ارزیابی شود.
چالش رایج: پذیرش AI معمولاً سریع‌تر از توانایی سازمان برای نظارت و مدیریت آن رشد می‌کند.
۶. واکنش به حادثه و بازیابی
بیشتر سازمان‌ها برنامه‌ای برای واکنش به حوادث امنیتی دارند، اما بسیاری از این برنامه‌ها برای تهدیدهای خاص هوش مصنوعی طراحی نشده‌اند.
برای مثال، مواردی مانند:
- سوءاستفاده از Prompt
- به خطر افتادن یک AI Agent
- نشت داده
- خروجی‌های ناامن یا نادرست
- مشکلات امنیتی مربوط به مدل‌های شخص ثالث
- استفاده غیرمجاز از مدل‌ها
ممکن است به روش‌های متفاوتی نسبت به حملات سایبری سنتی نیاز داشته باشند.
بنابراین سازمان‌ها باید سناریوهای مخصوص AI را به برنامه‌های واکنش به حوادث خود اضافه کنند.
چالش رایج: برنامه‌های واکنش به حادثه معمولاً بر اساس تهدیدهایی نوشته می‌شوند که سازمان در زمان آخرین به‌روزرسانی برنامه با آنها مواجه بوده است.
در بسیاری از این برنامه‌ها هنوز سناریوهای مربوط به هوش مصنوعی وجود ندارد.
چگونه یک برنامه عملی برای امنیت AI ایجاد کنیم؟
شناخت محل وجود ریسک AI یک موضوع است؛ ایجاد ساختارها، کنترل‌ها و فرایندهایی که بتوانند این ریسک را مدیریت کنند، موضوع دیگری است.
برای عملیاتی کردن یک برنامه مناسب امنیت AI، میتوان روی شش بخش اصلی تمرکز کرد.
۱. هماهنگی مدیران ارشد و تعیین اهداف کسب‌وکار
طبق این گزارش، ۸۹ درصد مدیران امنیتی، مشارکت محدود مدیران ارشد یا هیئت‌مدیره در آمادگی برای حوادث و تصمیم‌گیری را یکی از چالش‌های مهم می‌دانند.
راه‌حل، صرفاً آگاهی مدیران نیست.
آنچه اهمیت دارد تعیین مسئولیت رسمی و حمایت مشخص مدیران ارشد است.
امنیت AI باید به‌عنوان یک نیاز واقعی کسب‌وکار شناخته شود.
پیشنهادها:
- اهداف تجاری استفاده از AI را مشخص کنید.
- پروژه‌های AI را با اهداف کسب‌وکار و میزان ریسک قابل‌قبول هماهنگ کنید.
- افراد و بخش‌های مسئول از امنیت، IT، حقوقی، حریم خصوصی، انطباق و کسب‌وکار را مشخص کنید.
- یک مدیر ارشد را به‌عنوان حامی و مسئول اجرایی برنامه مشخص کنید.
۲. ایجاد برنامه حاکمیت هوش مصنوعی
وقتی یک حادثه اتفاق می‌افتد، سازمان باید بتواند خیلی سریع پاسخ چند سؤال را پیدا کند:
- چه کسی مسئول این سیستم AI است؟
- این سیستم به چه داده‌هایی دسترسی دارد؟
- چه کسی اجازه دارد آن را متوقف کند؟
- در صورت بروز مشکل، چه کسی باید تصمیم بگیرد؟
حاکمیت مناسب AI باعث می‌شود پاسخ این سؤالات در چند دقیقه مشخص شود، نه چند ساعت.
پیشنهادها:
- سیاست‌ها و استانداردهای قابل‌قبول برای استفاده از AI را مشخص کنید.
- فرایند تأیید و تصمیم‌گیری ایجاد کنید.
- مسئولیت هر سیستم AI و ریسک‌های آن را مشخص کنید.
- حاکمیت AI را با الزامات قانونی و مقرراتی هماهنگ کنید.
- یک چارچوب مدیریت ریسک برای AI ایجاد کنید.
۳. ایجاد کنترل‌های امنیتی و عملیاتی قابل اجرا
سیاست‌های امنیتی زمانی ارزشمند هستند که بتوان آنها را در عمل اجرا کرد.
اگر قوانین فقط به شکل توصیه باقی بمانند، تیم‌های مختلف ممکن است آنها را به شکل‌های متفاوتی تفسیر کنند.
این کنترل‌ها باید تمام روش‌هایی را که AI از طریق آنها وارد سازمان می‌شود پوشش دهند، از جمله:
- استفاده عمومی از Generative AI
- Copilotها
- قابلیت‌های AI در سرویس‌های SaaS
- برنامه‌های داخلی
- سیستم‌های RAG
- AI Agentهای خودکار
- سرویس‌های ابری AI
- پلتفرم‌های مدیریت‌شده توسط فروشندگان
پیشنهادها:
- الزامات مدیریت هویت و دسترسی را مشخص کنید.
- کنترل‌های مربوط به حفاظت از داده و حریم خصوصی را تعریف کنید.
- الزامات ثبت رویدادها، مانیتورینگ، ممیزی و نگهداری سوابق را مشخص کنید.
- استانداردهای توسعه، خرید، یکپارچه‌سازی و استقرار AI را ایجاد کنید.
- کنترل‌های مربوط به مدل‌ها، سرویس‌ها و فروشندگان شخص ثالث را مشخص کنید.
۴. آموزش و آماده‌سازی کارکنان
کنترل‌های فنی مشخص می‌کنند سیستم چه کاری می‌تواند یا نمی‌تواند انجام دهد.
اما آموزش کارکنان به یک سؤال متفاوت پاسخ می‌دهد:
کارکنان چه کاری باید یا نباید انجام دهند؟
آموزش AI نباید فقط یک دوره عمومی و سالانه درباره رعایت قوانین باشد.
کارکنان باید راهنمایی‌های کاربردی و متناسب با نقش خود دریافت کنند تا بتوانند هنگام کار روزمره تصمیم‌های امن‌تری بگیرند.
پیشنهادها:
- کارکنان را درباره استفاده مجاز و غیرمجاز از AI آموزش دهید.
- توسعه‌دهندگان را با روش‌های امن طراحی و توسعه AI آشنا کنید.
- درباره خطرات مربوط به داده، حریم خصوصی، خروجی مدل و امنیت اطلاع‌رسانی کنید.
- برای هر نقش شغلی، راهنمای مشخصی درباره انتظارات امنیتی ارائه دهید.
- مسیر مشخصی برای درخواست استثنا یا گزارش استفاده نادرست از AI ایجاد کنید.
۵. بررسی امنیت قبل از پذیرش و در تمام چرخه عمر
بررسی امنیت نباید فقط قبل از راه‌اندازی انجام شود.
سیستم AI ممکن است به‌مرور زمان تغییر کند:
- قابلیت‌های جدید اضافه شوند
- اتصال‌های جدید ایجاد شوند
- منابع داده تغییر کنند
- فروشنده سیستم را به‌روزرسانی کند
- مدل تغییر کند
- سطح دسترسی افزایش پیدا کند
- وابستگی کسب‌وکار به سیستم بیشتر شود
بنابراین ارزیابی‌ای که روز اول انجام شده، ممکن است شش ماه بعد دیگر وضعیت واقعی ریسک سیستم را نشان ندهد.
پیشنهادها:
- قبل از تأیید، وضعیت امنیتی سیستم AI را ارزیابی کنید.
- تست نفوذ و آزمایش‌های تهاجمی روی برنامه‌های AI انجام دهید.
- راهکارها، مدل‌ها، اتصال‌ها و زنجیره تأمین AI شخص ثالث را بررسی کنید.
- کنترل دسترسی، جریان داده، مانیتورینگ و نظارت انسانی را اعتبارسنجی کنید.
- با تغییر قابلیت‌های AI، ارزیابی امنیت را به‌صورت مستمر ادامه دهید.
۶. برای حوادث امنیتی مرتبط با AI آماده باشید
برنامه‌های معمول واکنش به حادثه ممکن است همه سناریوهای جدید AI را پوشش ندهند.
برخی از این سناریوها عبارت‌اند از:
- سوءاستفاده از Prompt
- به خطر افتادن Agent
- نشت داده
- تولید خروجی ناامن
- آسیب‌پذیری سرویس‌های AI شخص ثالث
- استفاده غیرمجاز از مدل
- تولید شواهد و فعالیت‌های مرتبط با حمله توسط سیستم‌های AI
بنابراین لازم است فرایندهای مخصوص حوادث AI در برنامه کلی واکنش به حوادث سازمان قرار بگیرند.
پیشنهادها:
برنامه واکنش به حادثه را به‌روزرسانی کنید و مشخص کنید:
- تیم امنیت، حریم خصوصی، حقوقی، فناوری و کسب‌وکار چگونه با یکدیگر همکاری می‌کنند.
- فروشندگان و ارائه‌دهندگان مدل در زمان حادثه چه نقشی دارند.
- مسئولیت‌ها و مسیرهای تشدید (Escalation) چگونه هستند.
- چه کسی مسئول تصمیم‌گیری و توقف یک سیستم AI است.
- چگونه باید تمرین‌های شبیه‌سازی حادثه مخصوص AI برگزار شود.
- کارکنان چگونه باید با لاگ‌ها، مانیتورینگ و قابلیت‌های تحلیل جرم‌شناسی دیجیتال مرتبط با AI کار کنند.
- سناریوهای AI چگونه باید در برنامه‌های کلی مدیریت بحران و واکنش به حوادث تمرین شوند.
اقدام عملی: امنیت AI را پیش از وقوع حادثه جدی بگیرید
سازمان‌هایی که منتظر می‌مانند تا یک تهدید امنیتی ضعف‌های AI آنها را آشکار کند، از قبل یک قدم عقب هستند.
حدود ۶۵ درصد سازمان‌ها گفته‌اند که احتمال دارد در پایان قرارداد خود ارائه‌دهنده خدمات واکنش به حوادث را تغییر دهند. مهم‌ترین دلیل این تصمیم، نیاز به پشتیبانی فعال‌تر برای آمادگی امنیتی عنوان شده است.
نیاز سازمان‌ها کاملاً روشن است.
اما سؤال مهم‌تر این است که یک رویکرد واقعاً پیشگیرانه برای امنیت AI در عمل چگونه باید اجرا شود؟
سه حوزه اصلی وجود دارد که می‌توانند به ترتیب‌های مختلف انجام شوند و باید در تمام چرخه عمر AI ادامه داشته باشند:
۱. ارزیابی (Assess)
وضعیت امنیت سایبری AI سازمان را بررسی کنید؛ از جمله:
- زیرساخت‌ها
- برنامه‌ها
- جریان داده‌ها
- رفتار و تعامل با Promptها
۲. ایجاد چارچوب (Establish)
یک چارچوب جامع برای حاکمیت و نحوه استفاده از AI ایجاد کنید یا چارچوب فعلی سازمان را بررسی و اصلاح کنید.
۳. آزمایش (Test)
برنامه‌های AI که در داخل سازمان توسعه داده شده‌اند و همچنین راهکارهای خریداری‌شده از بیرون را در برابر رفتارها و روش‌های واقعی مهاجمان آزمایش کنید.
جمع‌بندی
هدف سازمان‌ها نباید فقط استفاده از ارزش تجاری هوش مصنوعی باشد.
همزمان باید به این سؤال نیز پاسخ دهند:
چگونه می‌توانیم از مزایای AI استفاده کنیم، بدون اینکه ریسک‌های امنیت سایبری کنترل‌نشده را وارد سازمان کنیم؟
برای رسیدن به این هدف، سازمان به یک رویکرد جامع در تمام چرخه عمر AI نیاز دارد؛ رویکردی که امنیت، حاکمیت و مدیریت ریسک را در همه مراحل در نظر بگیرد:
استراتژی → توسعه → انتخاب فروشنده → استقرار → نظارت → واکنش به حادثه
این موضوع به‌خصوص زمانی اهمیت بیشتری پیدا می‌کند که سیستم‌های AI به اطلاعات حساس دسترسی دارند، به محیط‌های سازمانی متصل هستند یا از فرایندهای حیاتی کسب‌وکار پشتیبانی می‌کنند.
تهدیدهای مرتبط با AI و چارچوب‌های امنیتی آن هنوز در حال تغییر و تکامل هستند. به همین دلیل، سازمان‌ها باید به‌صورت منظم وضعیت امنیتی، سیاست‌ها، کنترل‌ها و آمادگی خود را بررسی کنند.
در نهایت، سازمان‌هایی که امنیت AI را به‌صورت پیشگیرانه جدی می‌گیرند، نه‌تنها سطح حمله و میزان ریسک خود را کاهش می‌دهند، بلکه دید و کنترل بیشتری روی نحوه استفاده از هوش مصنوعی به دست می‌آورند.
این همان چیزی است که به سازمان اجازه می‌دهد AI را با اطمینان، امنیت و در مقیاس بزرگ به کار بگیرد.
منابع
How to Secure Enterprise AI: From Adoption to Incident Readiness