Forbes: AI agentləri nə qədər ağıllı olsa, insan nəzarəti bir o qədər vacibdir

Forbes-in texnologiya bölməsində dərc olunan məqalədə Opsera şirkətinin Agentic DevOps və AI-SDLC sahəsində innovasiyalarına rəhbərlik edən Kumar Chivukula avtonom AI agentlərinin müəssisələrdə yaratdığı idarəetmə problemini təhlil edib. Onun sözlərinə görə, son iki ildə AI ilə bağlı söhbətlərin mərkəzində əsasən bir sual dayanıb: bugünkü modellər nə qədər bacarıqlıdır? Sənaye bu suala benchmark-ları müqayisə etməklə, düşünmə qabiliyyətini müzakirə etməklə və hər yeni modelin əvvəlkini üstələməsini izləməklə cavab axtarıb.

Chivukula hesab edir ki, bu irəliləyişlər müəssisələrin içində baş verən daha böyük dəyişikliyi kölgədə qoyub: AI-ni idarə etməyə hazır təşkilatların qurulması. O, öz şirkətinin AI əsaslı proqram təminatı hazırlama alətləri üzərində işləyərkən müşahidə etdiyi halı təsvir edir — avtonom kodlaşdırma agentləri kifayət qədər təşkilati kontekst olmadan işləyəndə arxitekturada kənarlaşma yaradır. Tələblərin aydın niyyət və izlənə bilən hərəkətlərlə məhdudlaşdırılmış iş tapşırıqlarına çevrilməsi agentlərin müəyyən edilmiş texniki standartlara uyğun qalmasına kömək edir.

Məqalədə bu gərginlik «agentic paradox» adlandırılır: AI nə qədər avtonom olursa, insan nəzarəti, idarəetmə və təşkilati uyğunlaşma bir o qədər vacib olur. Müəllif qeyd edir ki, AI bacarıqlılaşdıqca insanların daha az iş görməsi asan fərziyyədir, amma əslində bunun əksi baş verir. Ənənəvi proqram təminatı hazırlığı adətən əvvəlcədən verilmiş təlimatlara uyğun gedirdi. Bugünkü avtonom agentlər isə məqsədləri özləri şərh edir, qərarlar verir, işin necə görüləcəyini müəyyənləşdirir, başqa agentlərlə koordinasiya qurur, xarici alətlərlə qarşılıqlı əlaqəyə girir və işi çox az insan müdaxiləsi ilə icra edir.

Bu, agentləri dəyərli edən əsas xüsusiyyətdir, eyni zamanda yeni müəssisə riskləri yaradır. Məqalədə maliyyə köməkçisi agentinin nümunəsi verilir: ona «gecikmiş ödənişlərin siyahısını yarat və satıcılara e-poçt göndər» tapşırığı verilir. Bu tək istək hansı məlumatın çəkiləcəyi, hansı hesabların uyğun sayılacağı, həssas məlumatın təşkilatdan çıxa biləcəyi və e-poçt göndərilməsinə ümumiyyətlə icazə olub-olmadığı kimi qərarları tetikləyir. Kod tam təhlükəsiz olsa belə, çatışmayan təsdiq mərhələsi məxfi məlumatı aşkara çıxara bilər.

Buna görə hər təşkilat yeni suallara cavab verməlidir: agent hansı qərarları verməlidir, hansı hərəkətlər insan təsdiqi tələb edir, onun sərhədlər içində hərəkət etdiyini necə bilirik, nə isə səhv gedəndə kim məsuliyyət daşıyır? Müəllifin fikrincə, heç bir benchmark nəticəsi bu suallara cavab verə bilməz, çünki cavablar təşkilatdan təşkilata fərqlənir.

Chivukula yazır ki, bugünkü AI investisiyalarının böyük hissəsi hələ də modelin hazırlığına yönəlib — model düşünə və kod yaza bilirmi, xülasə çıxara və ya daha yaxşı nəticə yarada bilirmi? Bu suallar yaxşıdır, amma hər neçə aydan bir cavablandırılması asanlaşır. AI uğuru həm də «agent readiness»dən asılıdır: təşkilatın avtonom sistemləri biznes niyyətini, idarəetməni və məsuliyyəti qoruyub saxlayaraq təhlükəsiz yerləşdirmə qabiliyyəti. Məqalədə bu qabiliyyətin altı şərti sadalanır: aydın biznes niyyəti, müəyyən edilmiş fəaliyyət sərhədləri, insan nəzarəti, idarəetmə siyasətləri, ortaq təşkilati kontekst və icra boyunca məsuliyyət.

Müəllif agent idarəetməsini üç qatda təsvir edir: qurulma vaxtı (agent təhlükəsiz yaradılıbmı, məqsədi və icazəli hərəkətləri müəyyən edilibmi), yerləşdirmə vaxtı (roluna uyğun düzgün konfiqurasiya olunubmu, icazələri uyğundurmu) və işləmə vaxtı (təhlükəsiz davranırmı, insanlar lazım gələndə müdaxilə edə bilirmi). Hər qat fərqli risk növlərini üzə çıxarır, ona görə hər hansı birinin atlanması böyük intellektin yalnız genişləndirdiyi boşluq yaradır.

Məqalədə texnologiya dəyişikliklərinin adi ardıcıllığı xatırladılır: əvvəlcə imkanlar dalğası, sonra operasionalizasiya gəlir. Bulud hesablamaları sonda bulud idarəetməsini tələb etdi, kibertəhlükəsizlik fayrvolldan müəssisə səviyyəli risk idarəetməsinə keçdi. Agentic AI da eyni yolla gedir. Nümunə kimi NIST AI Risk Management Framework göstərilir — bu sənəd məsuliyyətli AI-ni idarə etmək, xəritələmək, ölçmək və idarə etmək kimi funksiyalar ətrafında qurur. Bir SaaS müəssisəsində komanda agentlər kod yaratmazdan əvvəl qəbul meyarları və uyğunluq yoxlamaları müəyyən edib, avtomatlaşdırılmış izləmə isə tələblərə əməl olunmasını yoxlamağa kömək edib. Müəllifin sözləri ilə: «İntellekt etimad yaratmır. Etimadı idarəetmə yaradır.»

Müəllif müəssisə AI-ı ilə bağlı yayılmış yanlış təsəvvürü də təkzib edir: guya avtonomiya insanların əhəmiyyətini azaldır. Onun fikrincə, əksinə olur — avtonom agentlər iş axınlarına daxil olduqca insanlar niyyəti müəyyən etmək, siyasət qurmaq, nəticələri təsdiqləmək və AI-ı biznes məqsədlərinə uyğun saxlamaq üçün daha çox məsuliyyət daşıyır. İnsanlar hər tapşırığı yerinə yetirmək əvəzinə, AI-ın fəaliyyət göstərdiyi sistemi dizayn edir. Bu baş verəndə sistem rəqabət üstünlüyünə çevrilə bilir.

Bir müəssisə tətbiqində baş mühəndislər AI nəzarəti vəzifələrini üzərinə götürüb, strukturlaşdırılmış iş tapşırıqlarını nəzərdən keçirib və açıq qəbul meyarlarına uyğun pull request-ləri təsdiqləyib. Agentlər daha çox icranı öz üzərinə götürüb, mühəndislər isə əhəmiyyətli qərarlar üzərində nəzarəti saxlayıb. Müəllif bunu «human-in-the-loop» yanaşmasının mahiyyəti adlandırır: insanlar operasional, təhlükəsizlik və ya uyğunluq baxımından ən ağır qərarları yönləndirir.

Məqalənin sonunda müəllif belə bir fikir irəli sürür: müəssisə AI-ının birinci nəsli AI-ı tez mənimsəyən təşkilatları mükafatlandırdı, növbəti dalğa isə onu güclü əməliyyat modelləri vasitəsilə məsuliyyətlə operasionalizasiya edənləri mükafatlandıracaq. O, bunu «governed velocity» — etimadı, məsuliyyəti və nəzarəti itirmədən AI sürəti ilə hərəkət etmək qabiliyyəti adlandırır.