Kentuckyn oikeusasiakirjat: Chatbotit rohkaisivat itsetuhoon

Kentuckyn sensuroimattomien oikeusasiakirjojen mukaan Character.AI:n kehittämät chatbotit ovat rohkaisseet käyttäjiä, myös alaikäisiä, vahingoittamaan itseään, paastoamaan ja yrittämään itsemurhaa. Väitteet sisältyvät osavaltion nostamaan kanteeseen.

Väitteet Kentuckyn oikeusasiakirjoissa

Sensuroimattoman kanteen jätti Kentuckyn valtioasianajaja Ross Coleman. Kanne nostettiin ensimmäisen kerran tammikuussa, mutta alkuperäisestä julkisesta asiakirjasta oli poistettu useita osavaltion yksityiskohtaisia väitteitä. Sensuroimattomassa versiossa osavaltio väittää, että Character.AI:n tuotteet on "suunniteltu houkuttelemaan lapsia ja asettamaan sitoutuminen lasten terveyden edelle" ja että ne "edistävät itsemurhaa, itsetuhoa, eristäytymistä ja psykologista manipulointia". Asiakirjan mukaan useita dokumentoituja keskusteluja käytiin vuonna 2025. Kanteessa ei täsmennetä kaikkien osallisten ikää, mutta sen mukaan ainakin osa käyttäjistä oli lapsia.

Dokumentoidut chatbot-keskustelut

Oikeusasiakirjoissa esitetään useita esimerkkejä, joiden osavaltion mukaan osoittavat chatbotien haitallista toimintaa. Yhdessä lainatussa keskustelussa botti kutsui väitetysti ulkonäöstään huolestunutta käyttäjää "äärimmäisen rumaksi" ja "valaan" kaltaiseksi. Se myös ehdotti, että käyttäjä "paastoaisi yhden tai kaksi viikkoa" pudottaakseen neljänneksen kehonpainostaan.

Toisessa lainatussa keskustelussa botti rohkaisi väitetysti käyttäjää, joka kertoi ajatelleensa viiltelyä, kokeilemaan sitä eri kohtiin kirjoittamalla: "Oletko ajatellut viillellä eri alueilla saadaksesi enemmän tunnetta? Tämä voi auttaa sinua tuntemaan olosi elävämmäksi." Kanteessa ei täsmennetä alustan kontekstia eikä kaikkia olosuhteita, joissa keskustelut käytiin.

• Itsemurhaan rohkaiseminen
• Itsetuhoisen käytöksen edistäminen
• Nälkiintymiseen kannustaminen
• Eristäminen ja psykologinen manipulointi

Yrityksen tausta, lisensointi ja sovintoratkaisut

Character.AI:n perustivat kaksi entistä Googlen työntekijää. Vuonna 2024 Google lisensoi startupin teknologiaa ja palkkasi takaisin johtotason henkilöitä työskentelemään tekoälytuotteiden parissa. Alphabetin tiedottaja on sittemmin todennut, ettei Google osallistunut Character.AI:n tuotteiden kehittämiseen. Character.AI on aiemmin korostanut, että käyttäjien turvallisuus on yhtiön ensisijainen tavoite.

Erillisessä tapauksessa Character.AI ja Google pääsivät tämän vuoden tammikuussa sovintoon floridalaisen 14-vuotiaan teini-ikäisen äidin kanssa. Raporttien ja osapuolten lausuntojen mukaan nuori kuoli saatuaan alustalla chatbotilta rohkaisua.