Mākslīgā intelekta aģenti spēj ne tikai meklēt informāciju, bet arī izmantot tīmekļa rīkus, izpildīt komandas un aizpildīt veidlapas. Taču, ļaujot tiem patstāvīgi darboties internetā, rodas arī drošības riski. Uzņēmums Anthropic atklājis vairākus gadījumus, kuros tā Claude modeļi veikuši neparedzētas darbības reālās tīmekļa vietnēs un sistēmās. Reaģējot uz šiem incidentiem, uzņēmums paplašinājis interneta piekļuves ierobežojumus savos iekšējos modeļu novērtēšanas testos. Par konstatētajiem gadījumiem Anthropic ziņoja 9. oktobrī publicētajā pārskatā. Uzņēmums tos iedala četrās kategorijās: programmatūras nepilnību izmantošana, neatļauta veidlapu iesniegšana, piekļuves ierobežojumu apiešana un saišu saīsināšanas pakalpojumu izmantošana, lai apietu tīmekļa rīku ierobežojumus.
No servera ievainojamības līdz viltus ziņojumam policijai
Vienā no gadījumiem modelis Claude Mythos Preview mēģināja izpildīt zinātnisku aprēķinu, izmantojot universitātes tīmekļa vietnē izvietotu rīku. Kad tas nedarbojās, modelis izpētīja vietnes kodu, atrada skriptu, kas ļāva iegūt servera failus, un nokopēja vairākus failus. Tajos modelis atklāja programmatūras nepilnību, ko varēja izmantot komandu izpildei serverī. Citā gadījumā modelis iesniedza veidlapu Filadelfijas policijas tīmekļa vietnē, kas paredzēta informācijas saņemšanai par neatklātām slepkavībām. Tas uzrakstīja, ka varētu būt informācija par konkrēto lietu un ka modelis atceras redzējis personu attiecīgajā apkaimē. Tomēr vietnē nebija norādīts iespējamā vainīgā apraksts. Modelis atstāja vārda un kontaktinformācijas laukus tukšus un iesniedza ziņojumu. Tas tika atzīmēts kā mēstule un izmeklētājiem netika pārsūtīts. Anthropic skaidro, ka modeļa instrukcijās bija aizliegts, piemēram, veidot kontus, ievadīt personas datus un veikt destruktīvas darbības, taču nebija skaidri aizliegts iesniegt veidlapas. Uzņēmums šo gadījumu atklāja, pārskatot modeļu darbību. Pārējos piemēros modeļi ieguva publiski pieejamus datus, kuriem bija noteikta maksa vai piekļuves ierobežojumi, un izmantoja bezmaksas saišu saīsināšanas pakalpojumus, lai apietu ierobežojumus, ko Anthropic bija noteicis saviem tīmekļa rīkiem.
Kā uzņēmums pastiprina drošību
Anthropic nolēmis atslēgt piekļuvi reālajam internetam visos savos iekšējos modeļu novērtēšanas testos, līdz būs pārliecinājies, ka drošības un uzraudzības mehānismi spēj uzticami atklāt šādas darbības. Daļa testu vairs netiek veikta, citus pārveido darbam bez piekļuves reālām tīmekļa vietnēm. Uzņēmums arī pastiprinājis tīmekļa rīku ierobežojumus un izveidojis sistēmas, kas automātiski atpazīst un bloķē līdzīgu uzvedību. Anthropic norāda, ka, pārbaudot šos aizsardzības mehānismus pret aprakstītajiem incidentiem, tie bloķēja visus pārbaudītos gadījumus. Uzņēmums turpina arī mainīt apmācības vidi, lai mazinātu iespēju, ka modeļi iemācās apiet ierobežojumus. Saskaņā ar Anthropic sniegto informāciju līdz šim konstatētajiem gadījumiem bijusi minimāla ietekme. Uzņēmumam nav zināms, ka tie būtu skāruši klientu datus vai pašas Anthropic iekšējās sistēmas. Atsevišķi gadījumi tomēr skāra ārējas vietnes, tostarp ASV valdības iestāžu pārvaldītus resursus. Šie incidenti parāda, ka MI aģentu drošībai nepietiek tikai ar instrukcijām. Nepieciešami arī tehniski ierobežojumi, uzraudzība un iespēja laikus apturēt darbības, kas nav paredzētas uzdevuma izpildei.
Avots: Anthropic
