Gemini 3.5 Live Translate: reaaliaikainen puheentulkkaus

Kuvittele seisovasi täydessä rautatieasemassa kuulokkeet korvillasi ja kuuntelevasi, kuinka tuntemattoman sanat käännetään kielellesi melkein ennen kuin hän on ehtinyt lauseensa loppuun. Tätä lupausta Google lunastaa Gemini 3.5 -reaaliaikaisen käännöksen avulla, mallilla, joka on suunniteltu tekemään reaaliaikaisesta puhuttujen käännöksestä vähemmän koneenomaisen ja enemmän kuin monikielisen ystävän tulkkaus.

Gemini 3.5:n reaaliaikainen käännös tunnistaa ja tuottaa puhetta yli 70 kielessä, säilyttäen puhujan rytmin, intonaation ja tempun, jotta käännökset kuulostavat luonnollisilta eivätkä robottimaisilta. Temppu ei ole yhtä taikakytkintä; kyse on suoratoistopohjaisesta lähestymistavasta, joka käsittelee ääntä samaan aikaan kun sitä puhutaan, lyhentäen kömpelöitä taukoja, joita vanhemmat järjestelmät aiheuttivat odottaessaan puhujan lopettamista ennen vastaamista.

Viive on pieni. Erittäin pieni. Googlen mukaan käännökset seuraavat alkuperäistä puhetta vain muutaman sekunnin viiveellä, mikä luo sujuvamman vuorovaikutuksen. Se käsittelee myös sekoitettuja kieliä ilman manuaalisia asetuksia - osallistujat voivat olla monikielisiä ja malli hoitaa vuorovirran. Ei valikoiden säätämistä kesken puhelun. Ei haparointia tilojen vaihtamisessa. Siinä on ideana.

Saatavuus alkaa Google Translate -sovelluksesta Androidilla ja iOS:llä. Käyttääksesi yhdistä kuulokkeet ja napauta reaaliaikainen käännös -valintaa vasemmasta alakulmasta. Jos korvakuulokkeet eivät ole käden ulottuvilla, uusi Kuuntele-tila Androidilla välittää käännökset puhelimen kaiuttimen kautta: pidä laitetta korvan lähellä kuten tavallista puhelua ja anna puhelimen hoitaa tulkkaus.

Kokouksissa tämä voi muuttaa pelin. Google Meetin reaaliaikainen tekstitys oli aiemmin rajoitettu vain viiteen kieleen käännetylle puheelle. Gemini 3.5:n myötä tuki laajenee yli 70 kieleen, mikä mahdollistaa yli 2 000 kieliparia yhdessä istunnossa - paljon laajemman kattavuuden globaalille työryhmille, luokkahuoneille ja tapahtumille.

Verkossa Google ottaa käyttöön yhden napin ohjaimen, jolla reaaliaikainen käännös käynnistyy välittömästi. Tämä ohjain julkaistaan kokeiluluonteisesti tämän kuun aikana, mikä korostaa, että yritys haluaa reaaliaikaisen käännöksen tuntuvan sisäänrakennetulta ominaisuudelta eikä lisäosalta.

Malli on rakennettu kestäväksi meluisissa ja arvaamattomissa ympäristöissä. Taustakeskustelut, katuäänet tai päällekkäiset äänet - Gemini 3.5 on suunniteltu kestämään ne. Kehittäjät voivat odottaa mallin näkyvän Googlen ekosysteemissä, Translate-palvelusta Meetiin ja kolmansien osapuolten sovellusten rajapintoihin.

Kaikki Googlen mallien tuottama ääni sisältää näkymättömän SynthID-vesileiman upotettuna tulosteeseen, mikä tekee tekoälyn luoman puheen havaittavaksi ja auttaa ehkäisemään väärinkäyttöä.

Kysymyksiä kuitenkin on jäljellä. Miten järjestelmä käsittelee alueellisia murteita, kielten sekoittamista tai kieliä, joiden aineistot ovat rajalliset? Miten yksityisyys ja suostumus hoidetaan, kun keskusteluja transkriboidaan ja käännetään reaaliajassa? Google viittaa kahteen vuosikymmeneen käännöstyössä ja toteaa miljardien käyttäjien jo luottavan sen työkaluihin, mutta tehokkaan suoratoistomallin vieminen päivittäiseen käyttöön nostaa esiin uusia politiikkaan ja käyttöliittymään liittyviä haasteita.

Matkustaville, opettaville tai globaaleja kokouksia vetäville Gemini 3.5:n reaaliaikainen käännös on käytännöllinen harppaus: vähemmän kitkaa, enemmän välittömyyttä ja ääni, joka kuulostaa ihmismäiseltä. Kun kieli lakkaa olemasta muuri ja muuttuu taustaääneksi, kysymys siirtyy siitä, miten käännämme, siihen, miten kuuntelemme toisin.