Mākslīgais intelekts programmētājiem var palīdzēt rakstīt kodu, atrast kļūdas un pat pats veikt dažādus uzdevumus datorā. Taču jo vairāk brīvības tam dod, jo svarīgāks kļūst jautājums – vai MI var piemānīt? Šādu risku 6. oktobrī izcēla tehnoloģiju medijs The Register, aprakstot drošības pētnieku demonstrētu uzbrukuma scenāriju ar GitHub Copilot CLI. Pētnieki šo paņēmienu nodēvējuši par “zombie instructions” jeb “zombiju instrukcijām”. Ideja ir vienkārša: īpaši sagatavota tīmekļa lapa var saturēt instrukcijas, kuras cilvēks pats nepamana, bet MI aģents tās var izlasīt un mēģināt izpildīt.
MI pats lasa mājaslapu un sāk rīkoties
GitHub Copilot CLI nav tikai čatbots, kas atbild uz jautājumiem. Tas darbojas datora terminālī un var izmantot dažādus rīkus, lasīt failus, izpildīt komandas. Par darbībām, kas var mainīt vai izpildīt failus, Copilot parasti prasa lietotāja atļauju. Tieši šī spēja kļūst svarīga uzbrukuma scenārijā. Pētnieki no Adversa AI izveidoja tīmekļa lapu ar īpaši sagatavotu saturu. Lietotājs lūdz Copilot apskatīt konkrētu interneta adresi, bet lapā esošās instrukcijas mēģina panākt, lai MI izdara kaut ko tādu, ko lietotājs sākotnēji nav prasījis.Šeit nav stāsts par to, ka cilvēks pats ievada ļaunprātīgu komandu. MI to var atrast tīmekļa lapas saturā un uztvert kā instrukciju.
Kas ir “zombiju instrukcijas”?
Parastā promptu injekcija ir situācija, kad MI tiek iedota ļaunprātīga instrukcija, kas mēģina mainīt tā uzvedību. “Zombiju instrukciju” gadījumā ideja ir līdzīga, tikai instrukcijas var būt paslēptas tā, lai tās nebūtu viegli pamanāmas. Pētnieku demonstrācijā saturs bija šifrēts, un Copilot tika pamudināts to atšifrēt pats. Pēc tam MI aģentam tika dotas instrukcijas mēģināt atrast informāciju lietotāja datorā un nosūtīt to uz citu interneta adresi. Tas neizdevās katru reizi. The Register norāda, ka rezultāts bija atkarīgs no tā, kāds MI modelis konkrētajā Copilot sesijā tika izmantots. Pētnieki apgalvoja, ka viens no pieejamajiem modeļiem uzbrukuma ķēdi izpildīja daļā mēģinājumu, kamēr citi modeļi to noraidīja.
Vai tas nozīmē, ka GitHub Copilot ir uzlauzts?
Te nepieciešama svarīga precizitāte. GitHub šo konkrēto pētījumu neuzskata par sava produkta ievainojamību. Uzņēmums The Register norādīja, ka uzbrukuma scenārijā lietotājam pašam jānorāda Copilot ielādēt uzbrucēja kontrolētu vai neuzticamu saturu un jāapstiprina darbība.Bet Adversa AI pētnieki uzskata, ka demonstrētais uzbrukums tomēr ir nozīmīgs drošības risks. Tātad precīzāk būtu teikt nevis “GitHub ir uzlauzts”, bet gan – pētnieki demonstrējuši veidu, kā ļaunprātīgs tīmekļa saturs var mēģināt piemānīt MI aģentu.
Problēma ir MI lielā priekšrocība
Šis gadījums labi parāda vienu no lielākajām MI aģentu problēmām. Jo vairāk MI ļauj pašam darīt, jo vairāk tam jāuzticas. Parasts čatbots var uzrakstīt nepareizu atbildi. MI aģents var izlasīt failu, palaist programmu, piekļūt internetam vai veikt citas darbības. Ja ļaunprātīga instrukcija nonāk tā redzeslokā, aģentam jāspēj atšķirt to, ko vēlas lietotājs, no tā, ko tam mēģina iestāstīt svešs saturs. Un tas ne vienmēr ir vienkārši. GitHub jau iepriekš ir novērsis arī citu nopietnu Copilot CLI drošības problēmu. GitHub drošības paziņojumā norādīts, ka līdz 0.0.422 versijai īpaši izveidoti Bash komandu parametri varēja novest pie patvaļīgas koda izpildes. Šī problēma tika novērsta 0.0.423 versijā.
MI aģentiem jāiemācās ne tikai darīt, bet arī nepaklausīt
“Zombiju instrukciju” gadījums nav stāsts par to, ka jebkura mājaslapa tagad var nozagt datus no datora. Tas ir demonstrēts uzbrukuma scenārijs, kura veiksmīgai izpildei nepieciešami konkrēti priekšnoteikumi. Taču tas parāda daudz plašāku problēmu: MI aģentiem arvien biežāk tiek dotas tiesības ne tikai runāt, bet arī rīkoties. Un, ja MI spēj rīkoties, tam jāprot arī pateikt: “Šo instrukciju es saņēmu no tīmekļa lapas, nevis no lietotāja. Tāpēc es to neizpildīšu.” Tieši šāda veida drošības problēmas kļūs arvien svarīgākas, MI aģentiem kļūstot patstāvīgākiem.
Avoti: The Register, GitHub