Pārtraukums mākslīgais intelekts kā kiberdrošības rīks Mozilla tikko ir spērusi ievērojamu soli uz priekšu, sadarbojoties ar Mozilla un Anthropic Firefox jomā. Tikai pāris nedēļu laikā mākslīgā intelekta modelis ir spējis atrast vairākas ievainojamības Mozilla atvērtā koda pārlūkprogrammā, kuru novēršanai parasti būtu nepieciešams vairāku mēnešu specializēts cilvēku darbs.
Šis eksperiments, kam ir tieša ietekme uz Firefox lietotāji Spānijā un pārējā EiropāTas ir kalpojis, lai novērtētu, cik tālu mūsdienās var attīstīties valodu modeļi reāla koda auditā un kādu lomu tie var spēlēt programmatūras aizsardzībā, ko katru dienu izmanto simtiem miljonu cilvēku.
Kad mākslīgais intelekts kļūst par labāko drošības auditoru
Programmatūras drošībā ir ļoti svarīgi noteikt ievainojamību, pirms to dara uzbrucēji: tas var nozīmēt atšķirību starp aizsargāt miljoniem lietotāju vai atklāt viņu datusŠajā kontekstā Mozilla ir izmēģinājusi neparastu pieeju: ļaujot progresīvam mākslīgajam intelektam pārskatīt pārlūkprogrammas pirmkodu, lai atrastu ievainojamības, pirms to dara pētnieki vai kibernoziedznieki.
Dažas nedēļas pirms palaišanas Firefox 148Pārlūkprogrammas drošības komanda saņēma pārsteidzošu ziņojumu: Antropo robežu sarkanā komanda — uzņēmuma iekšējā ofensīvās pētniecības grupa — apgalvoja, ka ar sava Kloda modeļa palīdzību ir atklājusi, vairāk nekā ducis pārbaudāmu drošības kļūdu Firefox JavaScript dzinējā. Tās nebija tikai aizdomas, bet gan kļūdas, ko pamatoja konkrēti pierādījumi.
Tas, kas to atšķīra no citiem mēģinājumiem izmantot mākslīgo intelektu šajā jomā, bija atskaišu kvalitāte. Katra ievainojamība tika pamatota ar minimāli reproducējami testa gadījumiTie bija mazi koda fragmenti, kas spēja deterministiski aktivizēt ievainojamību. Tas ļāva Mozilla inženieriem dažu stundu laikā pārbaudīt, vai problēma patiešām pastāv, un sākt darbu pie ielāpiem, netērējot laiku neskaidru scenāriju reproducēšanai.
Ekosistēmā, kur daudzi automatizētu rīku ģenerēti brīdinājumi nonāk miskastē, jo ir viltus pozitīvi vai neprecīzi ziņojumiAnthropic pieeja ievērojami samazināja troksni un sniedza noderīgu signālu: mazāks skaļums, bet apstiprināti un praktiski izmantojami atklājumi.
Kas ir Anthropic Frontier Red Team un kā tā darbojas ar Claude?
Zvans Robežas sarkanā komanda Tā ir Anthropic nodaļa, kas veltīta savu mākslīgā intelekta modeļu robežu izpētei uzbrukuma un aizsardzības drošībā. Tās mērķis ir ne tikai novērtēt modeļu iekšējos riskus, bet arī izpētīt Kā mākslīgo intelektu var izmantot, lai atrastu ievainojamības reālā programmatūrā? pirms to izdara ļaunprātīgi cilvēki.
Pēdējos mēnešos šī komanda ir parādījusi tādus modeļus kā Kloda opuss 4.6 var skriet daudzpakāpju uzbrukumi sarežģītiem tīkliem kontrolētā vidēTas sniedz priekšstatu par viņu analītiskajām spējām. Šīs pašas pilnvaras koordinēti un atbildīgi ir novirzītas uz atvērtā pirmkoda projektu, piemēram, Firefox, pārskatīšanu, ievērojot atbildīgus ievainojamību atklāšanas procesus.
Konkrētajā Mozilla pārlūkprogrammas gadījumā Anthropic sāka ar testēšanas vingrinājumu: izmantojot Claude, lai reproducēt vēsturiskas Firefox ievainojamības (CVE)Mēs pārbaudījām, vai modelis spēj atpazīt kļūdu modeļus, kas jau ir dokumentēti vecākās koda versijās. Rezultāts bija pozitīvs, lai gan ar vienu skaidru atrunu: daļa no šīs informācijas varētu būt modeļa apmācības datos.
Lai ietu tālāk, Frontier Red komanda pārgāja uz interesantāko daļu: lūdzot mākslīgajam intelektam atrast jaunas ievainojamības pašreizējā Firefox versijāTas ir, kļūdas, kas vēl nebija uzskaitītas nevienā publiskā datubāzē vai Mozilla iekšējās izsekošanas sistēmās.
Kā tika atklātas Firefox JavaScript dzinēja ievainojamības
Sākumpunkts bija pārlūkprogrammas JavaScript dzinējs, kas ir kritiski svarīgs komponents, jo tas ir atbildīgs par izpildīt neuzticamu ārēju kodu no tīmekļa lapāmJebkura kļūda šajā slānī sliktākajā gadījumā var kļūt par vārtiem uzbrukumam lietotāja sistēmai.
Kā paskaidrojuši Anthropic un Mozilla, Klods savu pirmo kritisko ievainojamību atklāja apmēram divdesmit minūšu laikā. jau no analīzes sākuma. Tā bija tāda veida neveiksme izmantošana pēc-bezmaksas, atmiņas ievainojamību kategorija, kas var ļaut uzbrucējam pārrakstīt datus ar patvaļīgu saturu, ja tie ir saistīti ar citām sistēmas ievainojamībām.
Kamēr Anthropic inženieri validēja šo sākotnējo brīdinājumu virtuālajā mašīnā ar jaunāko pārlūkprogrammas versiju, mākslīgais intelekts turpināja strādāt paralēli. Šajā laikā modelis jau bija atzīmējis aptuveni 50 papildu ievades dati ar anomālu uzvedību, daudzi no tiem vēlāk pārtapa testa piemēros, kas tika nosūtīti Mozillai.
Process neaprobežojās tikai ar JavaScript dzinēju. Aptuveni divu nedēļu laikā Klods analizēja gandrīz 6.000 C++ failu un tūkstošiem papildu projektu failuģenerējot 112 unikālus ziņojumus. Pēc Mozilla drošības komandas veiktās atlases no šī kopuma tika apstiprināti šādi dati: 22 ievainojamības reģistrētas kā CVE, no kuriem 14 tika klasificēti kā augstas smaguma pakāpes, papildus gandrīz 90 papildu kļūmēm, kas tiek uzskatītas par mazāk ietekmējošām vai tikai loģiskām kļūdām.
Visas identificētās drošības problēmas tika novērstas Firefox 148 izstrādes ciklā.Šī versija tagad ir pieejama lietotājiem Eiropā un pārējā pasaulē. Ir izlabotas arī zemākas prioritātes kļūdas, lai gan dažas korekcijas ir rezervētas jaunākām versijām, lai izvairītos no pārāk daudzu izmaiņu ieviešanas vienā laidienā.
Atklātas vairāk nekā 100 kļūdas un mazāk viltus pozitīvu rezultātu nekā citiem mākslīgajiem intelektiem
Visā šajā sadarbībā Kloda analīze deva Vairāk nekā 100 dažādas Firefox kļūdasLai gan ne visas no tām izrādījās izmantojamas ievainojamības, šis sējums ilustrē, ka pat nobrieduši un auditēti projekti, piemēram, Mozilla pārlūkprogramma, joprojām var slēpt ievērojamu skaitu kļūdu.
Lai sniegtu priekšstatu par ietekmi, Mozilla drošības komanda paskaidroja, ka tikai šo divu testēšanas nedēļu laikā mākslīgais intelekts spēja Identificēt vairākus ļoti nopietnus trūkumus, kas atbilst aptuveni 20% no visām kritiskajām ievainojamībām, kas pārlūkprogrammā izlabotas gada laikā.Citiem vārdiem sakot, mākslīgā intelekta atbalstītā revīzija koncentrēja dienās uzdevumu, kas parasti tiek sadalīts daudzos mēnešos.
Galvenais aspekts bija kļūdaini pozitīvu rezultātu līmenis. Daudzi atvērtā pirmkoda projekti, tostarp Eiropā, pēdējos gados ir saņēmuši kļūdaini pozitīvus rezultātus. ziņojumu viļņi, ko ģenerē zemas kvalitātes mākslīgā intelekta rīkiŠos ziņojumus bieži iesniedz lietotāji, kas meklē atlīdzību, izmantojot kļūdu atlīdzības programmas. Tie pārslogo uzturētājus ar neesošām vai slikti aprakstītām problēmām.
Mozilla, apzinoties šo situāciju, sākotnēji bija piesardzīga attiecībā uz sadarbību. Tomēr Frontier Red Team pieeja izrādījās atšķirīga: Pārskatīšanai tika iesniegti tikai tie nolēmumi, kuriem bija pievienoti pamatoti pierādījumi., ar skaidrām automātiskām reprodukcijām un dažos gadījumos kandidātu ielāpu priekšlikumiem, ko ģenerē pati mākslīgā intelekta un pārskata cilvēki.
Mozilla inženieri ir izcēluši trīs elementus, kurus viņi uzskata par būtiskiem, lai uzticētos uz mākslīgā intelekta balstītiem ziņojumiem: minimālie testa gadījumi, detalizēti koncepcijas pierādījumi un ieteiktie ielāpiŠī kombinācija ievērojami samazina laiku, kas nepieciešams, lai apstiprinātu, vai atradums ir pelnījis tūlītēju uzmanību vai arī to var atlikt.
Vai mākslīgais intelekts var izmantot atklātās ievainojamības?
Viens no eksperimenta delikātākajiem punktiem bija noskaidrot, vai Klods spēj ne tikai atrast ievainojamībasbet arī pārvērst tos par funkcionālie izmantojumiTas ir, uzbrukumos, kas spēj veikt ļaunprātīgas darbības mērķa sistēmā.
Uzņēmums “Anthropic” nolēma izmērīt šo spēju kontrolētā vidē. Komanda sniedza modelim informāciju par ievainojamībām, kas jau bija ziņotas uzņēmumam “Mozilla”, un lūdza tam ģenerēt ekspluatācijas kodu ar mērķi lasīt un rakstīt lokālajā failā testa iekārtā darbība, kas reālā situācijā nopietni apdraudētu sistēmu.
Lai to panāktu, tika izpildīti vairāki simti atsevišķu nāvessodu un ieguldīta aptuveni [trūkstošā summa]. 4.000 ASV dolāru API kredītosRezultāts bija niansēts: Klodam izdevās radīt tikai Divi vienkārši triki, kas darbotosUn tomēr tikai vidē, kurā vairākas mūsdienu pārlūkprogrammās esošās aizsardzības, piemēram, smilškaste un citas aizsardzības pastiprināšanas iespējas, bija apzināti atspējotas.
Mozilla uzsver, ka reālos apstākļos Firefox apdraudēšanai parasti ir nepieciešams apvienojot vairākas ievainojamības un apejot vairākus aizsardzības slāņusVienas ievainojamības, pat ļoti nopietnas, atrašana reti kad ir pietiekama, lai pārņemtu kontroli pār lietotāja sistēmu, kas pašlaik ierobežo šo rīku tiešo uzbrukuma potenciālu.
Pat neskatoties uz to, antropoloģija uzskata par būtisku to, ka valodas modelis spēj, pat ja tikai dažos gadījumos un ierobežotos apstākļos, automātiski ģenerēt ielaušanās vietu modernai pārlūkprogrammaiUzņēmums brīdina, ka šī atšķirība — atšķirība starp atklāšanu un izmantošanu — varētu samazināties, turpinot uzlaboties novērtēšanas modeļiem un metodēm.
Mozilla integrē mākslīgo intelektu savos drošības protokolos
Pēc veiksmīgās sadarbības, Mozilla ir apstiprinājusi, ka integrēs mākslīgā intelekta atbalstītu analīzi savā regulārajā drošības darbplūsmā. Firefox pārlūkam. Fonda komandas jau ir sākušas iekšējus eksperimentus ar Claude kļūdu triāžai, ielāpu pārskatīšanai un ievainojamību modeļu noteikšanai koda kritiskajās zonās.
Organizācija, kurai ir spēcīga lietotāju un izstrādātāju klātbūtne Eiropā, uzskata šo tehnoloģiju par veidu, kā stiprināt privātuma un drošības aizsardzībuŠie ir pīlāri, kas veido daļu no Firefox projekta identitātes. Kā atvērtā koda pārlūkprogramma, tās koda bāze ir pieejama gan neatkarīgiem pētniekiem, gan automatizētiem aģentiem, piemēram, Anthropic paša mākslīgajam intelektam, auditēšanai.
Mozilla galvenais uzdevums būs uzturēt līdzsvars starp automatizāciju un cilvēka veiktu pārskatīšanuLai gan mākslīgā intelekta modeļi var paātrināt kļūdu atklāšanu un piedāvāt labojumus, fonds uzstāj, ka jebkuram ielāpam — neatkarīgi no tā, vai to izstrādājusi persona vai mašīna — ir jāiziet tāda paša līmeņa tehniskā pārbaude, pirms tas tiek integrēts pārlūkprogrammā, ko izmanto Eiropas un pārējās pasaules iedzīvotāji.
Šī pieredze ir sniegusi arī praktisku vadlīniju citiem programmatūras projektiem, tostarp tiem, kas izstrādāti Spānijā vai Eiropas Savienībā: ja ir jāpieņem uz mākslīgo intelektu balstīti ziņojumi, ieteicams pieprasīt skaidri pierādījumi par reproducējamību un izveidot īpašus kanālus šāda veida informācijas atklāšanai, izvairoties no tradicionālo kļūdu izsekošanas sistēmu pārslodzes.
Mācības izstrādātājiem un tehnoloģiju uzņēmumiem Eiropā
Papildus mediju ažiotāžai ap Firefox, Anthropic un Mozilla sadarbība ļauj izdarīt vairākus būtiskus secinājumus. jaunuzņēmumi, tehnoloģiju MVU un lieli Eiropas uzņēmumi kas izstrādā savu programmatūru vai digitālos pakalpojumus.
Viens no skaidrākajiem ir tas, ka Ar mākslīgā intelekta palīdzību veikta koda auditēšana ir kļuvusi ekonomiski dzīvotspējīgaKas iepriekš prasīja speciālistu komandas darbu nedēļām ilgi, tagad var tikt veikta sākotnējā automatizētā pārbaude dažu stundu vai dienu laikā par daudz zemākām izmaksām nekā rūpīga manuāla pārskatīšana.
Vēl viena mācība ir tā, ka Atklāšanas ātrums sāk pārsniegt cilvēka korekcijas spējasTādi rīki kā Claude var ātri atrast desmitiem potenciālu ievainojamību, taču par vājo vietu kļūst iekšējo komandu spēja validēt, noteikt prioritātes un novērst šīs problēmas, nesabojājot citas sistēmas daļas.
Ir arī skaidrs, ka Atvērtais pirmkods nav garantētas drošības sinonīmsTomēr tas piedāvā vienu būtisku priekšrocību: caurspīdīgumu. Tādi projekti kā Firefox, kas Eiropā ir ļoti populāri, pateicoties to uzmanībai privātumam, ļauj gan kopienai, gan automatizētajiem aģentiem nepārtraukti pārskatīt kodu, kas slēgtos risinājumos nav iespējams.
Daudzām organizācijām mākslīgā intelekta integrēšana izstrādes procesā, piemēram, iekļaujot automatizētu analītiku CI/CD fāzēs, var kļūt par diferenciācijas faktors, pierādot atbilstību normatīvajiem aktiemTas kļūst arvien aktuālāk, ņemot vērā Eiropas standartu piemērošanu kiberdrošības un kritiskās programmatūras jomā nākotnē.
Vienlaikus šis gadījums kalpo kā atgādinājums, ka arī uzbrucējiem ir piekļuve līdzīgām tehnoloģijām. Pašreizējā priekšrocība, šķiet, ir aizsardzības pusē.Mākslīgais intelekts labāk spēj atrast un palīdzēt labot trūkumus, nevis tos izmantot, taču neviens neuzskata par pašsaprotamu, ka šī priekšrocība saglabāsies daudzus gadus.
Šādā scenārijā drošības vadītāji Eiropas uzņēmumos — sākot no bankām līdz e-komercijas platformām vai digitālajiem komunālajiem pakalpojumiem — sāk uztvert šos rīkus nevis kā eksperimentālu papildinājumu, bet gan kā vēl viena viņu programmatūras aizsardzības stratēģijas sastāvdaļa.
Firefox un Anthropic fiasko parāda, kā labi vadīts un uzraudzīts mākslīgā intelekta modelis var darboties kā augstākā līmeņa drošības auditors: tas var pārskatīt lielas koda bāzes, atklāt sarežģītas kļūdas un ļoti ātri piedāvāt risinājumus. Vienlaikus tas skaidri parāda, ka galīgo lēmumu joprojām pieņem cilvēku komandas, kurām jāizlemj, ko, kā un ar kādām prioritātēm ielādēt vidē, kurā programmatūras un apdraudējumu attīstības temps turpina paātrināties.
