Xiaomi OmniVoice: avoimen lähdekoodin monikielinen puhe-AI

Puhe-AI kuulostaa usein paperilla vaikuttavalta mutta käytännössä oudolla tavalla elottomalta. Xiaomi uskoo löytäneensä keinon tähän. Yhtiö on avannut OmniVoice-mallin lähdekoodin: uusi tekstistä puheeksi -malli, joka on suunniteltu äänen kloonaukseen, monikieliseen puhesynteesiin ja tarkkaan hallintaan siitä, miltä synteettinen ääni kuulostaa.

Julkaisun erottuvuutta ei määritä pelkkä lupaus puhtaammasta puheesta tai nopeammasta tuotannosta. Xiaomi esittelee OmniVoicea mallina, joka voi toimia sadoilla kielillä, mukaan lukien vähäresurssiset kielet, joita valtavirran puhejärjestelmät usein sivuuttavat. Jos tämä väite pitää paikkansa laboratorioesimerkkien ulkopuolella, sillä voi olla vaikutusta paljon pidemmälle kuin lippulaivapuhelimiin ja älyavustajiin.

Ilmoitus tehtiin Xiaomin virallisessa WeChat-kanavassa, jossa yhtiö kertoi OmniVoicen toimivan vahvasti sekä kiinassa että englannissa ja joissain monikielisissä tehtävissä pystyvän vastaamaan kaupallisia vaihtoehtoja tai jopa voittamaan ne. Se on rohkea väite. Yksityiskohdat kuitenkin viittaavat siihen, että Xiaomi tähtää todelliseen kipupisteeseen puhetekniikassa: suurin osa tekstistä puheeksi -järjestelmistä toimii parhaiten vain muutamalla tärkeällä kielellä, kun muu kielikenttä saa laimeamman kokemuksen.

Missä OmniVoice voi muuttaa keskustelua

Xiaomi kertoo, että OmniVoice on suunniteltu monikielisen puhesynteesin ytimeen. Yhtiö kuvailee sitä äänen kloonausta tukevaksi TTS-malliksi, joka kattaa satoja kieliä, myös ne, joista verkossa on erittäin niukasti koulutusmateriaalia. Käytännössä tämä tarkoittaa, että järjestelmän on tarkoitus tuottaa ymmärrettävää, luonnollisen kuuloista puhetta myös silloin kun datasta on pulaa, haaste joka on pitkään hidastanut puhe-AI:n kehitystä alueellisille ja kapeille kielille.

Xiaomin mukaan malli päihitti useita kaupallisia järjestelmiä testeissä 24 kielellä, erityisesti puheiden samankaltaisuuden ja ymmärrettävyyden osalta, vaikka se oli koulutettu vain avoimen lähdekoodin aineistoilla. Laajemmassa arvioinnissa, joka kattoi 102 kieltä, yhtiö sanoo OmniVoicen yltäneen lähelle inhimillistä ymmärrettävyyttä ja joissain tapauksissa jopa ylittäneen sen. Tällainen väite vaatii toki riippumatonta varmistusta, mutta se kertoo kuinka aggressiivisesti Xiaomi haluaa asemoi ta mallin globaalissa tekoälykilvassa.

Yksi julkistuksen kiinnostavimmista kohdista on painotus vähäiseen datamäärään koulutuksessa. Xiaomi kertoo, että jopa kieliltä, joista on alle 10 tuntia saatavilla olevaa materiaalia, voidaan saavuttaa korkean tason puhesynteesi. Yhteisöille ja kehittäjille, jotka työskentelevät aliedustettujen kielten parissa, tämä voi olla todellinen uutinen. Malli, joka laskee datan vaatimustasoa, muuttaa sitä, ketkä voivat alun perin rakentaa puhetyökaluja.

Teknisesti OmniVoice lähestyy asiaa eri tavalla kuin monet nykyiset monimutkaiset TTS-putket. Monien moduulien ja ennusteasteiden pinottamisen sijaan Xiaomi kertoo käyttävänsä yhtä kaksisuuntaista Transformer-verkkoa, joka muuntaa tekstin suoraan puheeksi. Yksinkertaisempi arkkitehtuuri. Vähemmän liikkuvia osia. Mahdollisesti vähemmän pullonkauloja.

Tämä rakenne liittyy myös nopeuteen. Xiaomi väittää, että OmniVoice voidaan kouluttaa 100 000 tunnin aineistolla yhdessä päivässä, ja suoratoistossa se voi toimia jopa 40-kertaisella reaaliaikanopeudella PyTorchissa. Kehittäjille sillä on merkitystä. Nopea inference on usein ero näyttävästä demosta ja tuotteesta, joka voidaan oikeasti integroida kuluttajatuotteisiin, asiakaspalvelujärjestelmiin, saavutettavuustyökaluihin tai sisällönjulkaisualustoille.

Yhtiö nostaa esiin kaksi teknistä valintaa näiden saavutusten taustalla. Ensiksi se mainitsee täydellisen koodikirjabasoidun satunnaismaskausstrategian, jonka sanotaan parantavan sekä tehokkuutta että mallin kokonais-suorituskykyä koulutuksen aikana. Toiseksi käytetään suurta kielimallia esikoulutuksessa, mikä Xiaomin mukaan parantaa ääntämistä ja ymmärrettävyyttä ei-autoregressiivisessä TTS-kehyksessä. Yksinkertaisesti sanottuna malli ei vain yritä kuulostaa sujuvalta; se pyrkii ymmärtämään kielirakennetta tarpeeksi hyvin ääntääkseen vaikeat sanat luonnollisemmin.

Tämä korostuu erityisesti todellisessa käytössä, jossa puhesynteesi usein pettää nimissä, murteissa, lainasanoissa tai seka-tekstissä. Xiaomi kertoo, että OmniVoice antaa käyttäjille myös enemmän hallintaa tässä. Vaikeita ääntämistilanteita, mukaan lukien kiinan polyfoniset merkit ja englannin erisnimet, voidaan korjata manuaalisesti luotettavuuden parantamiseksi.

Kuluttajille suunnatut ominaisuudet muuttavat OmniVoicen tutkimuspaperimaisesta ratkaisusta alustaksi. Käyttäjät voivat luoda räätälöityjä ääniä kuvailemalla piirteitä kuten ikä, sukupuoli, sävelkorkeus, aksentti, murre ja puhetyyli. Malli osaa myös tuottaa kuiskaavia ääniä ja muita erikoistyylejä ilman referenssiaudioa, mikä merkitsee huomattavaa joustavuuden kasvua.

Xiaomi kertoo myös, että malli kykenee puhdistamaan meluisia referenssiäänitteitä ennen äänen kloonausta, erottamalla selkeämpiä puhujan piirteitä tallenteista, jotka on tehty epätäydellisissä olosuhteissa. Se saattaa kuulostaa pieneltä yksityiskohdalta, mutta kaikille, jotka ovat työskennelleet todellisen maailman äänen kanssa, on selvää, kuinka sotkuista lähdeaineisto usein on. Kloonausjärjestelmä, joka kestää taustamelua, on paljon hyödyllisempi kuin pelkästään studiotasoisissa olosuhteissa toimiva malli.

Sitten on ilmaisullisuus. OmniVoice tukee intonaation säätöjä, mukaan lukien vaikutteet kuten nauru ja huokaukset, mikä voi tehdä synteettisestä puheesta vähemmän robottimaista ja enemmän keskustelevaa. Tälle markkina on menossa. Seuraavan sukupolven puhe-AI ei ole pelkästään tekstin lukemista tarkasti ääneen; kyse on esityksestä, persoonallisuudesta ja tunnevivahteista.

Xiaomi ei ole ensimmäinen yritys tavoittelemassa tätä päämäärää, eikä se ole viimeinen. Mutta avaamalla OmniVoicen lähdekoodin se panostaa strategisesti siihen, että laajempi kehittäjäyhteisö voi viedä sen puhetekniikkaa useampiin tuotteisiin, markkinoihin ja kieliin. Jos malli lunastaa edes osan Xiaomin lupauksista, OmniVoice voi nousta yhdeksi vuoden kiinnostavimmista avoimen lähdekoodin puhe-AI-julkaisuista.