Forbes eksperti korporativ AI təhlükəsizliyində altı kor nöqtəni göstərdi

Forbes-də dərc olunan məqalədə Fortune 50 şirkətində baş proqram mühəndisi işləyən Vasanth Mudavatu korporativ generativ AI sistemlərinin təhlükəsizliyi üçün praktik çərçivə təqdim edib. Onun sözlərinə görə, söhbət artıq yalnız səhv cavabların qarşısını almaqdan getmir: əsas məsələ avtomatlaşdırılmış sistemin qanuni giriş hüququndan istifadə edib məxfi məlumatı açmasının və ya icazəsiz əməliyyat aparmasının qarşısını almaqdır.

Müəllif 2025-ci ilin iyununda açıqlanan EchoLeak hadisəsini nümunə göstərir. Bu, Microsoft 365 Copilot-da aşkarlanan zəiflik idi və xüsusi hazırlanmış e-poçt istifadəçinin zərərli linkə klikləməsini tələb etmədən məlumatın kənara çıxarılmasına səbəb ola bilirdi. Microsoft zəifliyə CVSS şkalası üzrə 9.3, NIST isə ayrıca 7.5 bal verib. Şirkət zəifliyi bağlayıb və real istismar halına dair dəlil bildirilməyib. Mudavatu bunu təsdiqlənmiş sızma deyil, nümayiş etdirilmiş zəiflik adlandırır. Ancaq hadisə mühüm bir problemi üzə çıxarıb: xarici məzmun daxili məlumata çıxışı olan sistemə təsir edə bilirdi.

Məqalədə altı kor nöqtə sadalanır. Birincisi, yüklənən model tanış repozitoriyadan gəldiyi üçün avtomatik etibarlı istehsal aktivi sayılmamalıdır — dəyişdirilmiş çəkilər, arxa qapı tetikleyicileri və təhlükəli fayl deserializasiyası yoxlanmalıdır. Tövsiyə olunan nəzarətlərə artefakt imzalarının və heşlərin yoxlanması, mənşənin sənədləşdirilməsi, daxil olan faylların skan edilməsi və yerləşdirmədən əvvəl modelin davranışının test edilməsi daxildir. Müəllif vurğulayır ki, bütövlük yoxlaması artefaktın təsdiqlənmiş baza uyğun olub-olmadığını, davranış testi isə gözlənildiyi kimi işləyib-işləmədiyini göstərir; biri digərini əvəz etmir.

İkinci kor nöqtə agentin söndürülməsi ilə girişinin silinməsinin eyni şey olmamasıdır. Etibarnamələr, aktiv tokenlər və aşağı axın icazələri istifadəyə yararlı qala bilər. Agentlərə ayrı kimlik, ən az hüquq prinsipi üzrə giriş və qısa ömürlü etibarnamələr lazımdır, ləğvetmə axınları isə sınaqdan keçirilməlidir. Müəllif sadə əməli yoxlama təklif edir: agenti söndür və onun aşağı axın əməliyyatlarının həqiqətən dayandığını yoxla.

Üçüncü sahə çıxış kanallarıdır. Yalnız son cavabı yoxlamaq kifayət deyil, çünki həssas məlumat alət çağırışlarının arqumentlərində, jurnallarda, izlərdə və vektor anbarlarına yazılan məlumatda da görünə bilər. Bu sərhədləri izləmək, xarici ünvanları məhdudlaşdırmaq və sorğular üzrə fəaliyyəti əlaqələndirmək lazımdır. Müəllif xatırladır ki, məlumat bir dəfəyə asan aşkarlanan ötürmə kimi deyil, kiçik hissələrlə də çıxa bilər.

Dördüncü kor nöqtə təchizat zənciridir: təhlükəsizlik sərhədi modeldən genişdir, iş axınları, kitabxanalar, konteynerlər və yerləşdirmə asılılıqları da yoxlanmalıdır. Müəllif daxil olan model artefaktlarının skan edilməsini, üçüncü tərəf GitHub Actions-ın konkret commit heşlərinə bağlanmasını və model və proqram asılılıqlarının AI-yə xas inventarının saxlanmasını tövsiyə edir. Məqsəd izlənəbilməlikdir — hansı artefakt və asılılığın hansı istehsal imkanını dəstəklədiyini bilmək.

Beşinci sahə agentlərarası qarşılıqlı əlaqədir. Zədələnmiş agent qanuni alətlər və etibarnamələrlə qoşulmuş sistemlərə müraciət edə bilər, paylaşılan yaddaş və agentlərarası kommunikasiya isə zərərli təlimatların yayılması üçün əlavə yollar açır. Burada kommunikasiyanın autentifikasiyası, mesaj bütövlüyünün yoxlanması, yaddaşın incələnməsi və hər agent üçün karantin nəzərdə tutulur. Model Context Protocol alətlərinin metadatası da ziddiyyətli təlimatlar və icazəsiz dəyişikliklər baxımından nəzərdən keçirilməlidir.

Altıncı kor nöqtə agent inventarıdır. Sadəcə ad kifayət etmir: sahiblik, təsdiqlənmiş imkanlar, avtorizasiya konteksti və çıxarılma prosesi qeyd olunmalıdır. Müəllif aşkarlamanın avtomatlaşdırılmasını, əməliyyat səviyyəsində audit jurnallarının tutulmasını və etibarnamələri ləğv edən, yaddaşı təmizləyən və lazımi audit qeydlərini saxlayan dayandırma axınlarını təklif edir.

Mudavatu riskləri ehtimal, təsir, aşkarlama çətinliyi və çoxagentli mühitlər üçün ekspozisiya əmsalı ilə qiymətləndirməyi məsləhət görür. Alınan balı prioritetləşdirmə vasitəsi saymaq, obyektiv proqnoz kimi qəbul etməmək lazımdır. Onun fikrincə, nəzarət siyasət və ya konfiqurasiya mövcud olduğu üçün tamamlanmış sayılmamalıdır — bağlanma üçün onun işlədiyinə dair sübut tələb olunur. Yol xəritəsi əvvəlcə agentlərin aşkarlanması, model bütövlüyünün yoxlanması, xarici trafikin izlənməsi, boru xəttinin gücləndirilməsi və kill-switch tətbiqi ilə başlayır; sonrakı mərhələlərdə idarə olunan kimliklər, davranış testləri, agentlərarası autentifikasiya, yaddaş incələnməsi və avtomatlaşdırılmış cavab axınları gəlir. Rəhbərliyə hesabatda idarəetmə altındakı agentlərin payı, model bütövlüyünün yoxlanma əhatəsi, təchizat zəncirinin skan əhatəsi və dayandırma qaydalarına uyğunluq kimi ölçülə bilən göstəricilər önə çıxarılmalıdır.