Forbes: yüksək həssas AI yükləri üçün təcrid olunmuş mühit lazımdır

Versa Networks şirkətinin aparıcı proqram mühəndisi Karan Alang Forbes-də yazıb ki, AI sistemləri qurmaq üçün bulud hesablamaları rahat başlanğıc olsa da, dövlət, maliyyə və səhiyyə kimi həssas sahələrdə kifayət etmir. Onun 25 illik AI, bulud və böyük verilənlər təcrübəsi var.

Gartner-in tərifinə görə, suverenlik təşkilatın öz məlumatına, texnologiyasına və rəqəmsal əməliyyatlarına nəzarət etmək qabiliyyətidir. Bu, məlumatın yalnız harada saxlanıldığını deyil, həm də provayderin əməliyyatlarına, işçilərinə və giriş yollarına nəzarəti əhatə edir. Maliyyə qurumları məxfilik və yurisdiksiya tələbləri ilə, səhiyyə sistemləri həssas iş yüklərinin qorunması ilə, dövlət qurumları isə FedRAMP icazəli və ya tam təcrid olunmuş mühitlərlə üzləşir.

AI məsələni çətinləşdirir, çünki məlumat artıq adi verilənlər bazalarında qalmır. O, təlim boru xətlərindən, vektor bazalarından və çıxarış sistemlərindən keçir. Agent əsaslı AI ilə avtonom agentlər də bu məlumata çıxış edib onunla işləyə bilər. Təşkilat məlumatın harada saxlanıldığını deyil, harada emal edildiyini və hansı sistemlərin ona çıxış etdiyini bilməlidir.

Alang suverenliyin buludda da, təcrid olunmuş yerli mühitdə də əldə edilə bildiyini göstərir. Suveren bulud məlumatı təsdiqlənmiş ölkə və ya yurisdiksiya ilə məhdudlaşdıra bilir, lakin provayder infrastrukturun bir hissəsini idarə etdiyi üçün nəzarət qismən qalır: dəstək işçiləri, imtiyazlı giriş, telemetriya və idarəetmə müstəvisindən asılılıq ayrıca qiymətləndirilməlidir. Yerli mühitdə isə müştəri administratorları, fiziki infrastrukturu, şəbəkəni, yeniləmələri, açarları və girişi özü idarə edir. Amma tam asılılıq yox olmur: GPU satıcıları, kommersiya proqramı, firmware və xaricdə hazırlanmış modellər qalır.

Yazıda qeyd olunur ki, təcrid olunmuş suveren AI əvvəllər bahalı və idarəsi çətin sayılırdı. İndi vəziyyət dəyişib. Müəssisə serverlərindəki müasir GPU-lar müştərinin nəzarət etdiyi mühitdə mənalı çıxarış iş yüklərini qaldıra bilir. Açıq çəkili modellər həssas məlumatı xarici model API-sinə göndərmədən müştəri avadanlığında işləyir, kvantlaşdırma üsulları model ölçüsünü kiçildir. Kubernetes, Kafka, Airflow və Spark kimi açıq mənbəli texnologiyalar həm buludda, həm yerli mühitdə işləyir.

Alang yazır ki, platformanı təcrid olunmuş mühitə köçürmək ona göstərib: suveren AI sadəcə yerli serverlərə köçürülmüş bulud arxitekturası deyil. Tutum sonlu olur, ona görə hər mikroservis və Kubernetes iş yükü əvvəlcədən düzgün ölçülməlidir: CPU limitləri, yaddaş sorğuları, daimi və keçici saxlama, GPU paylanması. Ölçü pik yükləri nəzərə almalıdır. Avadanlığın alınması ilə çatdırılması arasındakı gecikmə də tutum planına daxil edilməlidir.

• İdarə olunan xidmətləri əvəz etmək əlavə mühəndis işi və planlaşdırma tələb edir.
• Müşahidə imkanları dizaynın əsas hissəsidir: Composer, Mongo Atlas və Dataproc üçün hazır göstərici vizuallaşdırmaları yenidən qurulmalı, jurnal toplama Grafana və Loki ilə qurulmalıdır.
• CI/CD təcrid olunmuş mühit üçün yenidən dizayn edilməli, daxili artefakt reyestrləri docker obrazlarını və digər proqram fayllarını təhlükəsiz saxlamaq üçün ölçülməlidir.
• Dəstək komandaları infrastruktur və məhsul problemlərini həll etməyə hazır olmalı, xərc smetasına 24/7 dəstək daxil edilməlidir.

Model və avadanlıq seçimi iş yükünə uyğun olmalıdır. NetOps və SecOps mühitləri böyük həcmli strukturlaşdırılmış telemetriyanı, real vaxt emalını və dildə araşdırmanı birləşdirir. Model ölçüsü, kvantlaşdırma, çıxarış məhsuldarlığı və GPU yaddaşı arxitekturaya təsir edir, təcrid olunmuş qurmada bu seçimlərin düzgün edilməsi kritikdir.

Alang-ın sözlərinə görə, AI təşkilatların içinə girdikcə suverenlik arxitektura dizaynının əvvəlindən nəzərə alınmalıdır. Onun fikrincə, bir çox təşkilat üçün suveren bulud nəzarətlə çeviklik arasında düzgün balans yaradır, yüksək həssas və ya missiya-kritik iş yükləri üçün isə təcrid olunmuş infrastruktur daha uyğun ola bilər. Daha çox nəzarət daha çox məsuliyyət deməkdir: tutum, müşahidə, təhlükəsizlik, proqram paylanması və əməliyyat dəstəyi platformanın dizaynına salınmalıdır. Yazının əsas dərsi budur: suverenliyi sonradan yamaq əvəzinə ilk gündən dizayna daxil etmək lazımdır.