Kun hakukoneet vertailivat toisiaan kehityksen vuoksi

Kurkista varhaisten hakukoneiden kulisseihin, ja löydät yllättävän yksinkertaisen ilmiön: tiimit tekivät rinnakkaisia kokeita, kuin kokit maistaisivat kilpailijan keittoa hioakseen omaa reseptiään. Paljastuksen kertoi David Friedberg, entinen Google-insinööri, joka sanoo yhtiön rutiininomaisesti syöttäneen miljoonia tekstikyselyjä Microsoftille ja Yahoolle nähdäkseen, miten niiden hakukoneet vastasivat.

Lyhyt lause. Yksinkertainen idea. Vertaa tuloksia. Paranna sijoitusta. Se oli oleellinen osa sitä, mitä insinöörit kutsuivat "tiivistystekniikaksi", ei vakoiluksi, vaan suuren mittakaavan kilpailulliseksi vertailuksi. Kehittäjät keräsivät julkisesti nähtävissä olevia tuloksia, analysoivat niiden kuvioita ja käyttivät havaintoja parantaakseen relevanssisignaaleja ja säätääkseen sijoitusheuristiikkaa.

"Lähetimme miljoonia kyselyjä Yahoolle ja Microsoftin hakukoneille nähdäksemme, mitä tuloksia ne antoivat", Friedberg muisteli. "Vertasimme niiden tuloksia omiin tuloksiimme parantaaksemme hakujärjestyksemme ja algoritmejamme." Prosessi oli systemaattinen. Se oli myös valaiseva: rinnakkain tehdyt vertailut korostivat paikkoja, joissa Google jäi jälkeen ja mistä se pystyi oppimaan.

Onko se varastamista? Ei kirjaimellisessa mielessä. Insinöörit korostivat, etteivät he koskaan hakkeroineet kilpailijoiden palvelimia tai kopioineet suljettua koodia. He jäsensivät julkiset tulosteet, kuten tekstikatkelmat, sijoitukset ja kilpailevien järjestelmien näkyvät käyttäytymismallit, ja käyttivät niitä palautteena. Ajattele sitä tulostaulun lukemisena, ei pelikirjan lukemisena.

Vertasimme tuloksia; emme murtautuneet emmekä kopioineet heidän koodiaan.

Miksi tämä on tärkeää nyt? Koska hakualgoritmeja kouluttavat ja testaavat taktiikat muokkaavat sitä, mitä käyttäjät näkevät. Varhaisen vaiheen käytännöt, kuten tiivistystekniikat, nopeuttivat kehitystä ja antoivat tiimeille mahdollisuuden tunnistaa poikkeustapauksia ja vikamuotoja nopeammin kuin pelkkä sisäinen testaus. Monin tavoin nämä vertailut toimivat osana jatkuvaa laadunvalvontaa, eräänlaisena peilinä kehittyvälle tuotteelle.

Tarinan avulla myös yleiset kertomukset innovaatiosta saavat uuden sävyn. Kilpailu ei aina tarkoita salamyhkäistä varastamista. Joskus se näyttää kahdelta lapselta naapurin pihoilla, kumpikin katsomassa, miten toinen rakentaa paremman skeittiramppan ja sitten kokeilemassa parantaakseen omaansa. Nopeampi iterointi. Enemmän resilienssiä. Parempia tuloksia käyttäjille.

Friedbergin kertomus muistuttaa, että hakukoneet kehittyivät käytännön kautta yhtä lailla kuin teorian perusteella. Se herättää uusia kysymyksiä läpinäkyvyydestä ja etiikasta algoritmien kehityksessä, erityisesti nyt, kun koneoppimisjärjestelmät voivat omaksua ja matkia laajoja julkisesti nähtävissä olevia tuloksia. Kuinka pitkälle vertailuanalyysi saa mennä? Kuka päättää, mikä on sallittua?

Menneisyydestä on osoittautunut olevan hyödyllinen laboratorio. Ja kun hakuteknologia jatkaa muuttumistaan, myös naapurin työn tarkastamisen etiketti muuttuu, inspiraatioksi, ei omimiseksi.