Okta mühəndisi AI xərclərini ölçmək üçün SQUAD çərçivəsini təklif edir
Okta-nın mühəndislik üzrə baş vitse-prezidenti Monica Bajaj Forbes-də AI investisiyasının dəyərini token sayı ilə deyil, nəticə ilə ölçməyi təklif edir.

Okta-nın mühəndislik üzrə baş vitse-prezidenti Monica Bajaj Forbes-də yazıb ki, şirkətlər AI-a artan xərclərin qarşılığını göstərməkdə çətinlik çəkir. Onun sözlərinə görə, token istehlakı sürətlə artır, amma real biznes effekti çox vaxt aydın qalmır. Mühəndislik rəhbərləri işin sürətini, təhlükəsizlik rəhbərləri sistemlərin qorunmasını, maliyyə rəhbərləri isə pulların hara xərcləndiyini və düzgün gəlir gətirib-gətirmədiyini bilmək istəyir. Bajaj bunu üç tərəfli gərginlik adlandırır.
Problemin bir hissəsi sistemlərin, arxitekturaların və iş axınlarının insan üçün qurulmasıdır. Bajaj yazır ki, insanlar proses işləməyəndə yol tapır, AI agentləri isə dövrəyə düşüb resurs sərf edə bilər, nəticə vermədən. Ona görə də AI-ın dəyərini ölçmək üçün istehlakla nəticəni ayırmaq lazımdır.
Bajaj-ın fikrincə, token istehlakı sistem fəaliyyətini ölçür, biznes dəyərini yox. Token həcminin kəskin artımı səmərəsiz sistem dizaynını, şişirdilmiş promptları, təkrar sınaq və səhvləri və ya lazımsız dövrələrə düşən agentləri göstərə bilər. İstifadəçi faydalı nəticə almadıqda yenidən sorğu göndərir, daha çox token xərclənir, məhsuldarlıq isə artmır.
O, yanaşmanı «bir tokenin qiymətindən uğurlu nəticənin qiymətinə» keçməyi təklif edir. Sadəcə istehlakı ölçmək əvəzinə, həll olunmuş tapşırığın qiymətini, keyfiyyəti və qüsur faizini, tapşırığın tamamlanma sürətini və keşin səmərəliliyini qiymətləndirmək lazımdır. Hər halda sual budur: məqbul xərclə mənalı nəticə alırıq?
AI investisiyalarını qiymətləndirmək üçün Bajaj SQUAD adlı çərçivə hazırlayıb. Çərçivə beş ölçünü birlikdə nəzərdən keçirir.
- Təhlükəsizlik: kod birləşdirilməzdən əvvəl nə qədər zəiflik aşkarlanır və AI-ın yaratdığı kodun hansı hissəsi təhlükəsizlik baxımından düzəliş tələb edir.
- Keyfiyyət və etibarlılıq: dəyişikliklərin uğursuzluq faizi, səhv sıxlığı, kod dövriyyəsi və test əhatəsi kod bazasının sağlamlaşdığını yoxsa pisləşdiyini göstərir.
- Vahid iqtisadiyyat: bir birləşdirilmiş pull request-in qiyməti, uğurlu tapşırığın qiyməti və tapşırığa uyğun model seçimi.
- Sürət: pull request baxış dövrləri, dəyişikliklərə qədər keçən vaxt və daha çox kod yoxsa daha çox dəyər istehsal edildiyi.
- Developer təcrübəsi: mühəndislərin əhval-ruhiyyəsi, baxış yorğunluğu və AI işini düzəltməyə sərf olunan vaxt.
Bajaj yazır ki, bu ölçülər birlikdə qiymətləndirilməlidir. Pull request keçidinin xeyli yaxşılaşması təhlükəsizlik və ya keyfiyyət problemləri artıbsa, uğur sayılmır. Yalnız kodun qəbul faizinə baxmaq da azdır: mühəndis AI kodunu qəbul edib sonra bir saat onu yenidən işləyirsə, qazanc nədir?
Bajaj eksperimentin vacibliyini vurğulayır, amma xərcləri də nəzərə almağı məsləhət görür. Onun təklifi istehsal axınlarından ayrı innovasiya sandbox-ları qurmaq və developer-lərə sərbəst sınaq üçün müəyyən limit verməkdir. Limitə çatanda layihəni avtomatik bağlamaq əvəzinə prototipin dəyərini və istehsal səviyyəli büdcəyə keçə biləcəyini qiymətləndirmək lazımdır.
O, «model-conscious engineering» adlandırdığı yanaşmanı da təklif edir: insanlar çox vaxt ən sadə tapşırıq üçün ən güclü modeli seçir, halbuki şablon kod və ya JSON formatı üçün belə model lazım deyil. Dinamik model yönləndirməsi tapşırığın mürəkkəbliyini uyğun modellə birləşdirib keyfiyyət, xərc və gecikmə arasında balans yaradır. Keşləmə, daha yaxşı prompt dizaynı və agentlərə verilən alətlərin məhdudlaşdırılması da lazımsız istehlakı azaldır.
Bajaj-ın prinsipi aləti yox, məlumatı tənzimləməkdir. Modellər və alətlər dəyişir, təşkilatlar isə öz məlumatları üçün sabit qaydalar qoya bilər. O, üç kateqoriya işlədir: açıq məlumat üçün yaşıl, təsdiqlənmiş korporativ mühit tələb edən daxili məlumat üçün sarı, icazəsiz AI sistemlərinə verilməməli məxfi məlumat üçün qırmızı.
Yazıda insan məsuliyyəti də önə çıxarılır: kod yazanda onun sahibi developer-dir, agent deyil. Developer işini, o cümlədən təhlükəsizliyini, işləməsini və kənar halları əsaslandıra bilməlidir. Bajaj rəhbərləri maneə yox, imkan yaradan olmağa çağırır: komandaya ən güclü aləti qadağan etsəniz, onlar yol tapacaq, təhlükəsiz korporativ giriş vermək daha effektivdir.
AI məhsul və dizayn komandalarına da yayıldıqca dəyərin ölçülməsi dəyişməlidir. Mühəndislikdə sürət, keyfiyyət, təhlükəsizlik və funksiyaların nə qədər tez çatdırılması əsas götürülür. Məhsul komandalarında neçə sənəd yaradıldığı yox, kəşf dövrünün müddəti ölçülməlidir. Dizayn komandalarında isə diqqət daha geniş araşdırmaya, müxtəlif iş axınlarının sınanmasına və mühəndisliyə qədər gediş-gəlişin azaldılmasına yönəlməlidir. Bajaj yazır ki, bu üç sahə ayrı işləsə, daha çox «AI slop» yaranır və aşağı axında əlavə iş çıxır; belə halda xalis gəlir mənfi ola bilər.
Tarixçə
Okta 1 xəbərMənbələr
Material AZERBUSINESS redaksiyası tərəfindən dünya və yerli bazarları, açıq mənbələri izləməklə hazırlanıb. İnvestisiya məsləhəti deyil. İstifadə şərtləri