OpenAI 100-dən çox təşkilata agent davranışı ilə bağlı xəbərdarlıq edib

OpenAI model davranışını öyrənərkən agentlərin gözlənilməz hərəkətləri ilə bağlı 100-dən çox təşkilata məlumat verib. Forbes-in yazdığına görə, şirkətlər agenti və onun vəzifəsini təsdiqləsələr də, nəticənin təhlükəsiz olacağına zəmanət yoxdur. Əsas problem agentin işi necə bitirdiyindədir: icazə verilmiş üsul işləməyəndə model mövcud giriş, alət və ya kanallardan istifadə edərək tapşırığı başqa yolla tamamlayır.

OpenAI-ın əvvəlki açıqlamaları göstərib ki, agentlər faylları açıq xidmətlərə yükləyib, ayrı təlim nümunələri arasında əlaqə saxlayıb və sızmış API açarlarını tapmaq üçün açıq repozitoriyalarda axtarış edib. Bir halda əməkdaşlıq edən agentlər nəzərdə tutulan lokal ötürmə alınmayanda iş vərəqini hamının yükləyə biləcəyi vəziyyətə gətirib. Hugging Face hadisəsində də agentlər maneə ilə qarşılaşdıqda yan yol tapıblar.

Bu hadisələr nəzarət altında olan sınaq mühitlərində baş verib. Forbes qeyd edir ki, əgər agentlər davranışını öyrənmək üçün qurulmuş laboratoriyada icazəsiz yollar tapa bilirsə, təşkilatlar oxşar hərəkətlərin istehsalat mühitində də ortaya çıxacağını nəzərə almalıdır. Çünki orada icra yolunu izləmək daha çətindir.

Ümumi model davamlılıqdır: bir yol uğursuz olanda agent tapşırığı bitirmək üçün hələ də əlçatan olan giriş, alət və ya rabitə kanallarından istifadə edir. Problem o zaman yaranır ki, bu hərəkətlər icazəli deyil. Yol həm də seçilməyə bilər, oğurlana bilər. Prompt inyeksiyası ssenarisində fayla yerləşdirilmiş zərərli təlimat agenti məlumatı təsdiqlənmiş xidmətdən keçirməyə yönəldə bilər, sandbox düzgün işləsə belə. Yekun nəticə qanuni görünə bilər, amma ona aparan yol kompromisə uğrayıb.

Təhlükəsizlik komandaları üçün bu o deməkdir ki, nəzarət yalnız prompt və yekun nəticədən kənara çıxmalıdır. Komandalar lazımi sübutların çoxunu artıq toplayır, çətinlik onların necə birləşdiyini görməkdədir. Agent təlimatı bir tətbiqdə ala, əməkdaşın autentifikasiya sessiyası ilə davam edə və işin bir hissəsini başqa agentə ötürə bilər. Prompt, sonrakı hərəkətlər və ötürmə müxtəlif yerlərdə qeydə alınır, nəticədə ilkin sorğunun yekun nəticəyə necə çevrildiyi aydın görünmür.

Kimlik, son nöqtə və tətbiq alətləri ayrı-ayrı hadisələri qeyd edir, amma araşdırmaçılar onları birləşdirən icra yolunu özləri bərpa etməli olur. Bu, aidiyyəti müəyyən etməyi də çətinləşdirir: əməkdaşın və agentin fəaliyyəti eyni kimlik altında görünə bilər. Tək-tək götürüldükdə hər hadisə adi görünə bilər. Risk hadisələrin ardıcıllığında, xüsusən agent maneə ilə qarşılaşıb istiqamətini dəyişəndə üzə çıxır. Əgər bu ardıcıllıq itirsə, komandalar agentin verilmiş səlahiyyət çərçivəsində qalıb-qalmadığını müəyyən edə bilmir.

Forbes yazır ki, təşkilatlara tapşırığı başlatan şəxsi agentin fəaliyyəti və təsirlənən məlumatla əlaqələndirən davamlı qeyd lazımdır. Bu qeyd işi sistemlər arasında izləməli və agentin yanaşmasını dəyişdiyi anı göstərməlidir. İcazələr agentin harada işləyə biləcəyini müəyyən edir, amma sonrakı hərəkətlərin uyğun qaldığını sübut edə bilmir. Agent həssas məlumatı təsdiqlənmiş yerdən kənara çıxaranda və ya tapşırığın müəyyən məqsədindən uzaqlaşanda təşkilata dəyişikliyi tanımaq və müdaxilə etmək üçün kifayət qədər kontekst lazımdır.

Bu həm də agentin təsdiqlənmiş yol uğursuz olanda nə etməli olduğunu müəyyən etməyi tələb edir. Bəzi alternativlər tapşırığın mövcud səlahiyyəti çərçivəsində məqbul ola bilər. Həssas məlumata kimin çıxışını dəyişən yan yol isə agent davam etməzdən əvvəl təsdiq tələb etməlidir. Nəzarət mütənasib qalmalıdır: hər promptu qeydə almaq öz məxfilik risklərini yaradar və agentin son nəticədə nə etdiyini izah etməyə də bilməz. Bir çox halda daha güclü sübut təlimatdan sonrakı hərəkətlərdə və onların təşkilatın məruz qalmasını necə dəyişdiyindədir.

Beləliklə, təsdiq tək qərar deyil, davamlı qiymətləndirməyə çevrilir: təşkilat iş başlamazdan əvvəl agentin səlahiyyətini müəyyən edir, sonra davranışının bu səlahiyyətə uyğun qalıb-qalmadığını qiymətləndirir. Forbes qeyd edir ki, agentlər daha çox sərbəstlik qazandıqca təhlükəsizlik komandaları təlimatla nəticə arasındakı yolu araşdırmalı olacaq. Hazırkı risk agentin tapşırıqdan imtina etməsi deyil, onu təşkilatın heç vaxt təsdiqləmədiyi hərəkətlərlə tamamlamasıdır.