Kirjojen tuhoava skannaus ja tekoälyn koulutusdata

Ne saapuvat varastoihin merkitsemättömillä rekoilla. Pitkiä lavoja. Kartonkilaatikoita, joissa on ISBN-tarrat. Hiljaista työtä. Nopeampaa kuin säilyttäminen. Kohtaus kuulostaa logistiikkaoperaatiolta, mutta lasti on kirjallisuutta: miljoonia painettuja kirjoja matkalla teollisiin skannereihin, jotka repivät ne irti sivu sivulta.

Tästä ei ole kyse salaliittoteoriasta. Oikeudenkäyntiasiakirjat ja ilmiantajaraportit osoittavat, että useat tekoälyyritykset ovat ottaneet käyttöön tuhoavia skannausmenetelmiä painettujen tekstien massadigitalisointiin. Huolellisen, hyllyä säästävän tallennuksen sijaan kirjojen selät irrotetaan ja sivut syötetään suurinopeuksiin, teollisiin skannereihin. Vaihto on karun yksinkertainen: nopeus ja alhaisemmat kustannukset vastaan painetun kirjan fyysinen säilyminen.

Yksi paljastava punainen lanka kulkee läpi asiakirjojen. Entiset työntekijät, jotka osallistuivat Google Books -projektiin ja myöhempiin hankkeisiin kuten Anthropicin sisäisiin pyrkimyksiin, joita oikeudenkäynnissä kutsutaan nimellä Project Panama, ovat todistaneet, että käytettiin sekä hellävaraisia yläkameraskannauksia että nopeampaa, tuhoavaa palvelua tarjoavia toimittajia. Tekoälyn kehittäjille päätös on pragmaattinen. Tuhoava skannaus maksaa vähemmän ja nostaa läpimenonopeutta useilla kertaluokilla.

Esimerkiksi Anthropicia syytetään käyttäneen miljoonia dollareita koulutusdatan poimimiseen painetuista kirjoista, jotka on ostettu jälleenmyyjien, kuten Better World Booksin, kautta, ja sen jälkeen tuhoamaan ne skannauksen jälkeen. Vaikka tuomari äskettäin katsoi, että tekijänoikeudella suojattujen teosten käyttäminen tekoälyn koulutukseen voi tietyissä yhteyksissä kuulua niin sanotun 'sallivan käytön' piiriin, tämä päätös ei kuitenkaan säästänyt Anthropicia kurinpidolliselta toimelta, kun yksityisistä arkistoista löydettiin miljoonia digitoituja kopioita, jotka oli otettu ilman asianmukaista tekijän tai kustantajan lupaa, ja jotka johtivat raportoidusti jopa 1,5 miljardin dollarin sakkoihin.

Kustantajat eivät ole istuneet kädet ristissä. Kustantajaliitot ovat nostaneet kanteita väittäen, että muut teknologiayritykset ovat käyttäneet tekijänoikeudella suojattuja teoksia ilman lupaa kouluttaakseen suuria kielimalleja. Oikeustaistelu keskittyy sekä oikeuksiin että korvauksiin, mutta suurempi kulttuurinen kysymys leijuu oikeussalin yllä: saavatko yksityiset yritykset muuttaa julkisten ja yksityisten kirjastojen kokoelmia omistetuiksi tietokannoiksi ja sitten silputa alkuperäiset fyysiset kappaleet?

Miksi sitten teknoyritykset ostavat käytettyjä kirjoja laveittain? Suora vastaus on koulutusdata. Korkealaatuiset, ihmiset kirjoittamat tekstit ovat edelleen arvokkaimpia raaka-aineita kehittyneille kielimalleille. Verkko on jo tulvillaan heikkolaatuista, tekoälyn tuottamaa sisältöä, jota halveksivasti kutsutaan 'tekoälyn roskaksi', ja se saastuttaa signaalia. Rakentaakseen malleja, jotka tuottavat johdonmukaista ja tarkkaa proosaa, kehittäjät haluavat aitoja lähteitä: hyvin toimitettua kaunokirjallisuutta, perusteellista tietokirjallisuutta ja harvinaisia tieteellisiä monografioita, joita ei löydy webistä kaapatuista korpuksista.

Tässä muutoksessa on sekä käytännöllisiä että eettisiä ulottuvuuksia. Toisaalta harvinaisten tekstien digitointi voi parantaa löydettävyyttä ja varmistaa, että sisältö säilyy fyysisen rappeutumisen yli. Toisaalta painettujen teosten massiivinen poistaminen kierrosta, jota seuraa niiden tuhoaminen, riistää kirjastoilta, käytettyjen kirjojen markkinoilta ja tulevilta tutkijoilta pääsyn. Suodatetaanko harvinaisia tai historiallisesti merkittäviä painoksia pois ennen tuhoamista? Tiedot ovat hämärät. On kuitenkin selvää, että skannatut tekstit päätyvät usein yksityisiin tietokantoihin, joihin pääsy on vain niitä maksaneilla yrityksillä.

Kuvittele sukupolvi, joka tarvitsee lainauksen vahvistamista tai arkistoannotaation tutkimista, mutta keskeisiä teoksia ei enää ole fyysisessä muodossa ja digitoidut kopiot elävät yritysten takana olevien muurien suojassa. Vaihdot ulottuvat omaisuusoikeuden kysymyksiä laajemmalle. Ne koskettavat kulttuurista huolenpitoa, tiedon saatavuutta ja sitä, kuka kontrolloi niitä raaka-aineita, jotka ruokkivat nousevaa tekoälyä.

Kirjojen tuhoaminen tulevan älykkyyden kouluttamiseksi herättää vaikean kysymyksen: onko teknologinen kehitys sen arvoista, että menetämme pysyvästi osia paperipohjaisesta perinnöstämme?

Päättäjien, kirjastotyöntekijöiden ja teknologien on päätettävä, hyväksytäänkö digitoidun kirjallisuuden yksityinen varastointi, velvoitetaanko julkinen pääsy vai säännelläänkö painettujen teosten tallentamiseen käytettyjä menetelmiä. Keskustelu on vasta alussa, mutta hyllyjä siirretään yhä ja koneet hurisevat. Kuka puhuu kirjojen puolesta?