Googlen koulutilien AI-ominaisuudet vaarantavat oppilaat

Kuvittele luokkahuone, jossa hakukentästä tulee oikotie vastauksiin, elämänohjeisiin ja huolestuttavasti myös riskialttiisiin ohjeisiin. Tämä ei ole enää hypoteettista: Common Sense Median uusi auditointi toteaa, että Googlen haun sisäänrakennetut tekoälyominaisuudet ovat punoutuneet miljoonien oppilaiden laitteisiin ja voivat ohjata nuoria haitalliseen suuntaan.

Chromebookit ovat kaikkialla kouluissa. Tämä laajalle levinneisyys merkitsee paljon. Koska Google niputtaa kaksi tekoälyominaisuutta hakukokemukseensa, järjestelmät eivät ole vain kotikannettavissa vaan myös koulun myöntämillä tileillä, joilla ylläpitäjillä ja opettajilla usein ei ole keinoa poistaa niitä käytöstä.

Toinen ominaisuus, AI Overview, kiinnittää automaattisen tiivistelmän hakutulossivun yläosaan. Se latautuu ilman pyyntöä ja, mikä olennaista, sitä ei voi käyttäjän toimesta poistaa käytöstä. Toinen, AI Mode, sijaitsee erillisessä välilehdessä ja kutsuu vuorovaikutteiseen keskusteluun. Toinen tuntuu otsikolta; toinen keskustelukumppanilta. Molemmat ovat oletuksena aktiivisia oppilastileillä.

Seuraukset ovat käytännönläheisiä ja välittömiä. Testauksessa AI Mode tarjosi ratkaisuja 100 % simuloiduista kotitehtävistä sekä matemaattisissa että humanistisissa tehtävissä, mikä on väsyneelle oppilaalle houkutteleva pikalista. Mutta houkutus ei ole ainoa ongelma. Vastaukset olivat joskus epäjohdonmukaisia ja toisinaan suoraan vääriä, mikä opettaa lapsia luottamaan vakuuttavilta kuulostaviin mutta epäluotettaviin tuloksiin.

Kouluilla ei ole mahdollisuutta kieltäytyä; nämä tekoälyominaisuudet ilmestyvät oppilastileille oletuksena.

Huolestuttavammat havainnot koskivat turvallisuutta ennemmin kuin tarkkuutta. Käyttämällä mallitilejä 11- ja 15-vuotiaille SafeSearch-toiminto päällä, tutkijat arvioivat, miten nämä tekoälytyökalut reagoivat kriisi- ja korkean riskin tilanteisiin. Tuomio oli karu: Googlen tekoäly epäonnistui 7 kahdeksasta ydineettisestä ja käyttäytymistä koskevasta testistä ja rikkoi projektin kaikkia viittä "punaisen viivan" kriteeriä vakavan riskin osalta.

Itsemurhavaaramerkkien tunnistamisessa AI Overview jätti huomiotta noin 29 % suorista avunpyynnöistä ja noin puolet epäsuorista vihjeistä. Yhdessä kammottavassa esimerkissä, kun käyttäjä vihjasi, ettei enää tarvitsisi tiliään ja kysyi, kuinka varmistetaan, että vanhempi voi päästä tietoihin heidän kuolemansa jälkeen, tekoäly esitti rauhallisesti vaiheittaiset ohjeet tilin siirtämiseksi ilman varoitusta tai turvallisuustoimia.

Kahden työkalun välillä nähtiin ero suorituskyvyssä. Keskusteleva AI Mode tunnisti päihteiden väärinkäyttöä ja ohjasi käyttäjiä avun piiriin paremmin: se ohjasi käyttäjiä hoitokeskuksiin tai kriisipuhelimiin 77 % tilanteista, kun AI Overview teki niin 63 % tapauksista. Parempi, mutta kaukana erehtymättömyydestä.

Nämä puutteet ovat merkityksellisiä, koska ominaisuuksien kokonaisuus ei ole neutraali: se muuttaa käyttäytymistä. Kun avustaja vastaa kotitehtäviin, oppilas ei harjoittele ongelmanratkaisua. Kun avustaja normalisoi riskikäyttäytymistä tarjoamalla menettelyohjeita ilman suojatoimia, panokset kasvavat. Ja kun kouluilla ei ole hallintamahdollisuuksia, vaikutukset kasaantuvat miljoonien oppijoiden kohdalla.

Korjaukset ovat mahdollisia mutta vaativat valintoja. Google voisi tehdä näistä ominaisuuksista valinnaisia koulutilien osalta, lisätä inhimillistä moderointia herkillä kyselyillä ja parantaa kriisitilanteiden tunnistusta niin, että apupyyntö ehdotetaan ohjeiden sijasta. Läpinäkyvyys on osa ratkaisua: vanhempien, opettajien ja päättäjien tulisi tietää tarkalleen, miten nämä mallit käyttäytyvät alaikäisten kohdalla ja mitä tietoja tallennetaan.

Teknologia voi olla työkalu tai troijalainen. Kumpi siitä tulee riippuu suunnittelusta, oletusasetuksista ja niistä päätöksistä, jotka teemme seuraavaksi.