OpenAI kertoo, että sen hiljattain käyttöön ottama keskitetty Valvontahuone-järjestelmä voi estää mallia tuottamasta uusia tulosteita enintään 35 sekunnin kuluessa pysäytyskäskystä.
Yrityksen mukaan Valvontahuone on turvallisuuskerros, joka yhdistää tutkimustyökuormat, inferenssimoottorit ja keskitetyn valtuutuspalvelun. Sen avulla käynnissä olevat, riskejä mahdollisesti aiheuttavat tutkimusprosessit voidaan pysäyttää. OpenAI kertoo järjestelmän olevan nyt käytössä koko tutkimusinfrastruktuurissaan.
Näin pysäytys- ja peruuttamismekanismi toimii
Valvontahuone koostuu kolmesta pääkomponentista: tutkimustyökuormasta, inferenssimoottorista ja keskitetyistä Valvontahuone-palvelusta. OpenAI:n terminologiassa työkuormalla tarkoitetaan tutkimustehtävää, kuten vahvistusoppimiskokeita, arviointeja tai laajoja datankäsittelytehtäviä, jotka edellyttävät agenttipohjaista inferenssiä.
Jokainen agenttipohjaista inferenssiä edellyttävä tehtävä on liitettävä hyväksyttyyn turvallisuustiedostoon. Kun tutkija käynnistää prosessin, tehtävän koodi pyytää Valvontahuoneelta yksilöllisen tehtävä-ID:n. Tämä tunniste liitetään jokaiseen inferenssimoottoreille lähetettävään pyyntöön. Inferenssimoottorit suorittavat malleja suoraan grafiikkasuorittimilla ja tuottavat tulosteita.
Ennen vastauksen palauttamista inferenssimoottori varmistaa Valvontahuoneelta, että tehtävä on edelleen valtuutettu. Jos tutkija tai automatisoitu valvontajärjestelmä antaa pysäytyskäskyn, Valvontahuone-palvelu hylkää seuraavan pyynnön, jolloin inferenssimoottori estää uusien tulosteiden tuottamisen. OpenAI huomauttaa, ettei ohjelmakoodi välttämättä pysähdy tai sulkeudu. Sen sijaan mallin kyky tuottaa tulosteita estetään, mikä tukee mallin valvontaa ja turvallisuustarkastuksia. Ratkaisu siirtää kriittisen validointikerroksen inferenssimoottoriin ja vähentää tutkijakohtaisten turvatarkastusten tarvetta yksittäisissä koodikannoissa.
OpenAI kertoo, että Valvontahuone on suunniteltu estämään toiminta oletusarvoisesti virhetilanteissa. Jos keskitetty palvelu vikaantuu, sitä peukaloidaan tai se poistuu käytöstä, inferenssimoottorit eivät käsittele pyyntöjä ennen kuin järjestelmä on palautettu toimintaan.
Yrityksen mukaan pysäytyskäskyn ja tulosteiden tosiasiallisen estämisen välisen enintään 35 sekunnin viiveen aiheuttaa suurten pyyntömäärien käsittelyssä käytettävä välimuistikerros. OpenAI kertoo pyrkivänsä pienentämään viiveen kohti nollaa.
OpenAI kertoo, että Valvontahuone on nyt käytössä koko sen tutkimusinfrastruktuurissa.
"Olen digitaalisen markkinoinnin asiantuntija ja intohimoinen data-analytiikan seuraaja. Kirjoitan Diginissä siitä, miten teknologia vaikuttaa liiketoimintaan ja yhteiskuntaan."
Keskustelu
Jätä kommentti
Kommentit
Ei vielä kommentteja. Ole ensimmäinen.