Samsung ja Nota AI nopeuttavat Exynos 2500 -tekoälyä

Samsung on solminut sopimuksen Nota AI:n kanssa, joka voi merkittävästi nopeuttaa laitteessa suoritettavaa tekoälyä puhelimissa ja muissa laitteissa, joissa käytetään Exynos 2500 -piiriä. Sen sijaan, että raskaammat tekoälytehtävät siirrettäisiin pilveen, optimoidut mallit voidaan ajaa paikallisesti laitteessa, mikä lyhentää vasteaikoja, parantaa tietosuojaa ja vähentää jatkuvaa verkkoliikennettä.

Nota AI tuo mallien pakkausta ja optimointityökaluketjun

Sopimuksen puitteissa Nota AI toimittaa mallien pakkaus- ja optimointiteknologioita, jotka integroituvat Samsungin Exynos AI Studioon. Tavoitteena on saada edistyneet generatiiviset mallit ja inferenssimallit toimimaan sujuvasti Exynos 2500 -piirillä ilman, että suorituskyvyn kannalta herkkien tehtävien on pakko luottaa etäpalvelimiin. Tämä tarkoittaa sekä teollisen tason kehittäjätyökaluja että käytännön optimointeja, jotka auttavat sovelluskehittäjiä ja laitevalmistajia tuomaan monimutkaisempia tekoälyominaisuuksia suoraan loppukäyttäjän laitteeseen.

Teknisesti Nota AI:n työkaluista löytyy useita toisiinsa liittyviä komponentteja: mallitason pakkaus (model compression), kvantisointi (quantization), kerrosten yhdistäminen (operator fusion), karsinta (pruning) ja ajonaikainen aikataulutus (runtime scheduling). Nämä mekanismit pienentävät mallien muistinkäyttöä ja laskentavaatimuksia, jolloin Exynos 2500:n NPU voi käsitellä suurempia ja monipuolisempia malleja. Lisäksi optimointiketju tukee tavallisia koneoppimisen kehitysalustoja, mikä helpottaa mallien siirtämistä tutkimus- ja pilviympäristöistä suoraan mobiilisovellusten tuotantoympäristöihin.

Nota AI:n toimitusjohtaja Myungsu Chae kuvasi yhteistyötä rakentavana 'tiiviisti integroiduksi kehykseksi, jossa tekoälyn laitteisto ja ohjelmisto sulautuvat tarjoten suorituskykyistä generatiivista tekoälyä reunalaitteilla'. Käytännössä tämä tarkoittaa pienempiä ja tehokkaampia mallifilejä, ajonaikaisia hienosäätöjä sekä kompilaatiotason optimointeja, jotka on suunniteltu vastaamaan Exynos-arkkitehtuurin erityispiirteitä. Integraatio pyrkii myös vähentämään sovelluskehittäjien työtä: kun mallin optimointityökalu selkeyttää mallin porttausta, kehittäjät voivat keskittyä ominaisuuksiin ja käyttökokemukseen sen sijaan, että he ajaisivat pitkiä kokeiluja eri konfiguraatioilla.

Mitä Exynos 2500 tarjoaa

• 10-ytiminen CPU, jonka kärkinä Cortex-X925 -ydin kellotaajuudella 3,30 GHz
• 2x Cortex-A725 -ydintä 2,74 GHz ja 5x Cortex-A725 -ydintä 2,36 GHz
• 2x Cortex-A520 -tehokkuusydintä 1,80 GHz
• Samsung Xclipse 950 -GPU, joka perustuu AMD:n RDNA-arkkitehtuuriin
• Erillinen NPU, jonka teoreettinen suorituskyky on 59 TOPS
• Tuki LPDDR5X-muistille 76,8 Gb/s

Listan tekniset tiedot osoittavat, että Exynos 2500 on suunniteltu tarjoamaan monipuolista suorituskykyä mobiilisovelluksille ja painetuille tekoälykuormille. Kuitenkin pelkät TOPS-lukemat eivät kerro koko tarinaa: eri piirit mitoitetaan erilaisilla muistijärjestelyillä, väyläleveyksillä ja ajonaikaisilla optimoinneilla, jotka vaikuttavat siihen, kuinka tehokkaasti suoritin pystyy ylläpitämään todellista suorituskykyä esimerkiksi pitkissä ja laskentaintensiivisissä inferenssitehtävissä. Qualcommin Snapdragon 8 Elite Gen 5 -piirin Hexagon NPU:n ilmoitettu noin 100 TOPS -lukema on yksi esimerkki siitä, että piirit kilpailevat huippulukemilla. Samsungin lähestymistapa on kuitenkin hyödyntää ohjelmisto- ja mallitason optimointeja saadakseen Exynos-laitteista enemmän irti todellisissa sovelluksissa, joissa jatkuva teho, lämmönhallinta ja virrankulutus ratkaisevat käyttäjäkokemuksen.

Miksi optimointi ratkaisee enemmän kuin huippulukemat

Optimointi on käytännössä se osa-alue, joka muuttaa teoreettisen suorituskyvyn käyttäjän kokemuseksi. Nota AI:n työkalut toimivat kuin hermoverkkojen 'viritys': ne suorittavat mallin karsintaa (pruning) poistamalla vähemmän tärkeitä painoja, käyttävät kvantisointia siirtääkseen laskentaa pienemmälle tarkkuudelle ilman merkittävää tarkkuuden heikkenemistä sekä ajonaikaista aikataulutusta, joka optimoi, miten eri laskentaresurssit — CPU, GPU ja NPU — jaetaan ja hyödynnetään tehokkaasti.

Tällaiset optimoinnit vähentävät laskenta- ja muistikuormaa, mikä auttaa Exynos 2500:n 59 TOPS -NPU:ta käsittelemään pidempiä tai monimutkaisempia malleja kuin mihin se periaatteessa näyttäisi kykenevän pelkkien huippulukemien perusteella. Lopputuloksena on useita käytännön hyötyjä: alhaisempi viive interaktiivisissa tehtävissä, parempi akun kesto ja mahdollisuus ajaa generatiivisia malleja sekä kontekstuaalista analytiikkaa paikallisesti ilman, että kaikki data lähetetään pilveen. Lisäksi optimoinnit voivat sisältää operaatioiden yhtenäistämistä ja fusionointia, tensorien järjestelyn muuttamista niin, että muistikutsut ovat tehokkaampia, ja sparsiuden hyödyntämistä, mikä tekee laskennasta kevyempää ja hitaampien degraatioiden sietokyvystä parempaa.

Edelleen keskeistä on runtime- ja compiler-tason kehitys: optimointikehykset voivat generoida laitekohtaisia operaattorimutkia ja hyödyntää matalan tason kirjastoja, jotka on optimoitu juuri Exynos-arkkitehtuurille. Tällainen lähestymistapa yhdistää mallin metatiedot laitteistokohtaisiin resurssitietoihin, jolloin automaattiset tai puoliksi automatisoidut prosessit pystyvät muokkaamaan mallin rakennetta, muistiresurssien jakamista ja laskentaketjuja tehokkuuden maksimoimiseksi. Tämä muuttaa perinteisen 'lähetä-pilveen' -mallin rinnakkaiseksi 'suorita-laitekohtaisesti' -malliksi monissa käyttötapauksissa.

Mitä käyttäjät voivat odottaa

• Nopeammat vasteajat laitteessa suoritettaville tekoälyominaisuuksille ja generatiivisille toiminnoille, kuten reaaliaikaiselle tekstin, kuvan ja äänen generoinnille
• Alhaisempi viive ja parempi tietosuoja, koska vähemmän pyyntöjä tarvitsee lähettää pilveen
• Parantunut akun kesto ja energiatehokkuus, kun paikalliset tekoälykuormat on optimoitu ajettaviksi tehokkaasti

Käytännössä yhteistyö voi näkyä loppukäyttäjälle sulavampana puheavustajana, nopeampana kuvankäsittelynä esimerkiksi monimutkaisissa suodatinohjelmissa, parempina offline-käännös- ja transkriptio-ominaisuuksina sekä reaaliaikaisina älyominaisuuksina valokuvien ja videoiden editoinnissa. Lisäksi sovelluskehittäjät voivat hyödyntää optimointityökaluja tuodakseen markkinoille uusia ominaisuuksia ilman, että niiden täytyy rakentaa kokonaan uutta pilviin sidottua infrastruktuuria.

On kuitenkin hyvä huomioida, että kaikkia tekoälytehtäviä ei voida tai kannata siirtää kokonaan laitteeseen: erittäin suurten kielimallien (LLM) täyden version ajo voi silti edellyttää pilven laskentaa, ja tietyt erittäin datainteensiiviset tai monikäyttäjäympäristöt hyötyvät edelleen pilvipohjaisista ratkaisuista. Tästä huolimatta hybridiratkaisut — joissa kevyemmät, optimointinsa läpikäyneet mallit ajetaan laitteessa ja raskaat laskentatehtävät tehdään pilvessä tarpeen mukaan — muodostavat käytännöllisen tien eteenpäin. Samsungin ja Nota AI:n yhteistyö asettaa Exynos 2500:n paremmin tähän hybridiekosysteemiin ja antaa valmistajille ja ohjelmistotoimittajille työkaluja hallita työnjakoa tehokkaasti.