Microsoft muuntaa CUDA-mallit AMD-GPU:ille – kustannukset

Microsoft rakentaa raporttien mukaan muunnostyökalupaketteja, joiden avulla CUDA-pohjaisia tekoälymalleja voitaisiin ajaa AMD:n GPU-kiihdyttimillä. Tavoitteena on alentaa inferenssin eli mallien tuotantojonoissa tapahtuvan ajon kustannuksia ja vähentää riippuvuutta NVIDIAn laajasta CUDA-ekosysteemistä. Jos ratkaisut toimivat laajassa mittakaavassa, ne voivat muuttaa pilvipalveluiden GPU-valintoja suurten inferenssikuormien osalta.

Miksi Microsoft suuntaa huomion AMD:hen inferenssiä varten

Pilvipalveluntarjoajat ja hyperskaalaajat eriyttävät yhä selvemmin mallien koulutuksen ja inferenssin vaatimuksia. Koulutuksessa painottuu yhä nopein ja eniten optimointia hyödyntävä laitteisto, koska koulutusvaiheessa lasketaan suuret määrät laskutoimituksia ja hyödynnetään laajoja rinnakkaistuksia. Inferenssissä eli mallien käytössä tuotannossa kustannustehokkuus, laitteen käyttökustannukset ja virrankulutus nousevat kuitenkin uudelleen keskeisiksi prioriteeteiksi, koska inferenssipyyntöjä voi tulla miljoonia tai miljardeja päivässä.

Microsoft havaitsee Azure-pilvessä valtavan määrän inferenssikyselyjä, ja AMD:n uusimmat AI-kiihdyttimet tarjoavat usein kustannuskilpailukykyisen vaihtoehdon verrattuna NVIDIAn korkeamman hintaluokan kortteihin. Edullisempi tuntihinta tai parempi hinta-suorituskyky-suhde voi tiputtaa yksittäisen inferenssipyynnön kustannusta merkittävästi suuressa mittakaavassa, mikä on suoraan voittoa pilvikustannuksiin keskittyville organisaatioille.

Edullisuus on kuitenkin realistinen etu vain, jos olemassa olevat CUDA:lla koulutetut mallit voidaan ajaa AMD:n laitteilla ilman laajamittaista lähdekoodin uudelleenkirjoitusta tai infrastruktuurin muuttamista. Microsoftin kerrottiin kehittävän työkaluja, jotka pyrkivät täyttämään juuri tämän aukon kääntämällä tai uudelleenohjaamalla CUDA-kutsut ROCm-yhteensopiviin kutsuihin, jotta mallit voisivat toimia suoraan AMD-GPU:illa Azure-ympäristössä tai muissa pilvivaihtoehdoissa.

Kuinka nämä työkalut toimivat — pragmaattinen käännöstaso

CUDA-sidonnaisuuden purkaminen ei ole yksinkertaista. CUDA-ekosysteemi on laajasti omaksuttu ja monissa tuotantoputkissa odotetaan NVIDIA-optimointia hyödyntäviä kirjastoja, kuten cuDNN, cuBLAS ja TensorRT. Näillä korkeatasoisilla kirjastoilla on pitkä kehityshistoria ja niihin on sidottu paljon suorituskykyä parantavia optimointeja, minkä vuoksi yhdenmukaistan käännösratkaisun pitää pystyä käsittelemään monenlaisia kutsuja, muistinhallintaa, kernel-parametreja ja synkronointimekanismeja.

Yksi käytännöllinen lähestymistapa on ajonaikainen yhteensopivuuskerros (runtime compatibility layer), joka kaappaa CUDA-API-kutsut ja mapittaa ne ROCm-ekvivalentteihin ajonaikaisesti. Tällainen kerros voi toimia binaaritasolla tai dynamiikan linkityksen kautta, jolloin alkuperäistä lähdekoodia ei tarvitse kääntää uudelleen täydestä lähdekoodista. Aikaisempia kokeiluja tämäntyyppisestä lähestymistavasta ovat olleet esimerkiksi ZLUDA ja muut yhteensopivuustyökalut, jotka käänsivät CUDA-kutsuja ilman täydellistä sovelluksen lähdekoodin uudelleenkäännöstä.

Microsoftin sisäisten työkalujen kerrotaan noudattavan samanlaista polkua: ne muuntavat, uudelleenohjaavat tai emuloivat CUDA-kutsuja niin, että ne voivat toimia ROCm-pinoa käyttävien AMD-laitteiden kanssa. Tämän ansiosta organisaatiot voisivat siirtää inferenssikuormiaan AMD-instansseille Azuressa tai muissa ympäristöissä pienin muutoksin mallien artefakteihin, kuten mallin painotiedostoihin ja ajonaikaisiin konfiguraatioihin. Käytännössä tämä tarkoittaa usein myös HIP-työkalujen (Heterogeneous-Compute Interface for Portability) ja HIPIFY-käännösten hyödyntämistä, yhdessä ajonaikaisten shim- tai wrapper-kerrosten kanssa.

Ei hopealuotia — yhteensopivuus- ja suorituskykyvaroitukset

ROCm on kehittynyt nopeasti ja AMD on panostanut paljon ekosysteemin laajentamiseen, mutta se on yhä suhteessa nuorempi kuin CUDA. Kaikki CUDA:n tarjoamat API:t, optimoinnit ja erityiset kääröt eivät aina löydä suoraa yksi-yhteen vastinetta ROCm:stä. Tämä koskee erityisesti korkeatasoisia, NVIDIAn optimointeihin nojaavia kirjastoja ja erittäin optimoituja kernel-versioita. Joissain tapauksissa käännökset voivat heikentää suorituskykyä tai jopa rikkoa monimutkaiset tuotantokuormat, mikä on riski datakeskusten ennustettavuutta ja läpivientikykyä vaativissa ympäristöissä.

Microsoft näyttääkin ottavan työkalut käyttöön varovaisesti, testaamalla niitä hallituissa skenaarioissa ja tekemällä yhteistyötä AMD:n kanssa laitteisto- sekä ohjainoptimointien parantamiseksi. Tämä viittaa siihen, että yritys pyrkii löytämään tasapainon mahdollisten kustannussäästöjen ja yritysasiakkaiden odottaman operatiivisen vakauden välillä. Käytännön ympäristöissä vaaditaan mittarit kuten latenssi, läpimeno (throughput), muistin käyttö ja deterministinen vaste — ja nämä kaikki täytyy validoida ennen laajaa käyttöönottoa.

Mitä tämä tarkoittaa pilviasiakkaille ja GPU-markkinalle

• Alhaisemmat inferenssikustannukset: Mikäli muunnostyökalut toimivat suuressa mittakaavassa, organisaatiot voivat siirtää enemmän inferenssiä AMD-pohjaisille instansseille ja näin alentaa kustannusta per pyyntö tai per tunti. Tämä voi parantaa hankinnan ja kapasiteetin hallinnan joustavuutta, erityisesti yrityksille, jotka käyvät läpi suuria reaaliaikaisia tai eräajona suoritettavia inferenssikuormia.
• Lisää toimittajavalinnan mahdollisuuksia: Luotettava CUDA→ROCm -polku heikentäisi CUDA:n käytännön lukitusta (vendor lock-in), antaen pilviasiakkaille enemmän neuvotteluvaltaa ja joustavuutta. Tämä saattaa myös johtaa kilpailun lisääntymiseen GPU-hankinnoissa ja laajempiin valikoimiin hintatasojen sekä ominaisuuksien suhteen.
• Asteittainen käyttöönotto: Odota vaiheittaista migraatiota—yksinkertaiset mallit ja eräajot (batch inference) siirtyvät todennäköisesti ensin, kun taas kriittisemmät reaaliaikaiset järjestelmät siirretään vasta työkalujen ja optimointien maturiteetin kasvaessa. Monitasoinen lähestyminen, jossa testaus, failback-mekanismit ja monitorointi ovat keskeisiä, on todennäköinen käyttöönotto-strategia.

Kuvittele siirtäväsi suuren osan inferenssilaivastostasi edullisemmalle laitteistolle ilman, että sinun tarvitsee kirjoittaa malleja uudelleen — siinä on selkeä houkutus. Todellisuus riippuu kuitenkin siitä, kuinka laajasti ROCm pystyy vastaamaan CUDA:n suorituskykyprofiiliin eri käyttötapauksissa ja kuinka nopeasti Microsoft yhdessä AMD:n kanssa pystyy umpeuttamaan jäljellä olevat yhteensopivuusaukot ja optimoimaan ajon eri mallityypeille.

Tällä hetkellä Microsoftin hanke nostaa esiin laajemman teollisuustrendin: inferenssimäärät kasvavat nopeasti, ja kustannustehokas laitteisto on yhä tärkeämpää. Jos muunnostyökalut skaalautuvat ja osoittautuvat luotettaviksi, ne voivat olla ratkaiseva askel kohti heterogeenisempää GPU-maisemaa pilvessä, jossa sekä AMD:n että NVIDIAn ratkaisut kilpailevat paremmin eri käyttötapauksissa ja hintapisteissä. Tämä voisi johtaa myös ekosysteemin laajentumiseen: enemmän optimointeja ROCm:lle, parempi tuki suosituimmille kirjastoversioille, sekä lisääntyvä suosio HIP- ja muille portabiliteettityökaluille.