Samsungin BV-NAND V10 ja zHBM mullistavat muistin suunnittelun

Vilkkaassa Santa Claran salissa Samsung nosti hiljaa verhoa laitteistoon, joka tuntuu vähemmän vähittäiseltä ja enemmän pieneltä vallankumoukselta. Insinöörit kerääntyivät lasikaappien ympärille. Kortteja vaihdettiin. Yhteenveto oli suora: muisti muuttaa muotoaan.

Otsikko: BV-NAND V10. Kyseessä on yhdistämällä valmistettu V-NAND viety uudelle ääripäälle, yli 400 päällekkäin pinotun kerroksen verran, valmistettuna Samsungin edistyneillä yhdistämistekniikoilla. Lopputulos ei ole pelkkä korkeampi piikasa. Se tarjoaa noin 58 prosenttia suuremman tiheyden verrattuna edelliseen sukupolveen, ja tuo ylimääräinen pystysuora tila tarkoittaa suoraan nopeampia lukuja, nopeampia kirjoituksia, parempaa I/O-suorituskykyä ja mitattavia energiasäästöjä. Lyhyesti: tiheämpi muisti, joka kuluttaa vähemmän energiaa ja liikuttaa dataa nopeammin.

Pinottu muisti ja lyhyemmät etäisyydet

Kuvittele nyt muisti, joka istuu kirjaimellisesti prosessorin päällä. Outoa? Voimakasta. Samsung kutsuu sitä zHBM:ksi. Se hyödyntää wafer-bondingin periaatteita ja soveltaa niitä suuren kaistanleveyden muistiin, muotoillen uudelleen fyysistä suhdetta DRAMin ja kiihdyttimen välillä. Sen sijaan, että muisti olisi naapuri piirilevyn toisella puolella, zHBM on pinottu tekoälykiihdyttimien päälle, mikä lyhentää tiedon kulkematkaa merkittävästi. Viive laskee. Nopeus nousee. Energian kulutus pienenee.

Samsungin mukaan zHBM voi tarjota noin kahdeksankertaisen suorituskyvyn tulevaan HBM5-standardiin verrattuna, samalla tarjoten noin kymmenkertaisen muistitiheyden ja noin kolminkertaisen energiatehokkuuden. Nämä ovat suuria väitteitä. Ne perustuvat kahteen seikkaan: erittäin tiukkaan pystysuoraan integraatioon ja yhtiön osaamiseen wafer-bondauksessa. Jos käytännön järjestelmät vastaavat näitä lukuja, zHBM voisi muokata sitä, miten datakeskukset ja tekoälykaapit suunnitellaan.

Samsung esitteli myös edistymistään teollisuuden standardin mukaisen HBMin saralla: HBM4E-näytteitä on jo toimitettu asiakkaille, ja yhtiö esitteli HBM5:n seuraavana vakiotasona suuren kaistanleveyden muistille. Mutta zHBM asemoidaan nopeammaksi, tiiviimmäksi ja energiatehokkaammaksi vaihtoehdoksi työkuormille, jotka vaativat mittakaavaa.

Kaikki edistysaskeleet eivät kohdistu pilveen. Tässä tulee zNAND-O, V-NAND-menetelmistä johdettu seuraavan sukupolven flash, mutta viritetty reunalaskentaa varten. Samsung kehittää 4- ja 8-kerroksisia versioita, jotka lupaavat tiukempaa tilatehokkuutta, parempaa I/O-suorituskykyä ja matalampaa viivettä kuin perinteinen NAND. Ajattele zNAND-O:ta kevyenä, paikallisena välimuistina tekoälyn inferenssille lähellä käyttäjää, kun zHBM varataan raskaisiin tehtäviin koulutuksessa ja laajamittaiseen inferenssiin pilvessä.

Yksi kiinnostava uutuus oli vielä: LPDDR5X-PIM. Tämä on teollisuuden ensimmäinen LPDDR, joka integroi Processing-In-Memory -toimintoja, suorittaen osan laskennasta muistissa ennen kuin data koskaan poistuu siitä. Vaikutus on yksinkertainen: vähemmän datan liikuttelua edestakaisin, suurempi tehokas kaistanleveys ja paremmat energialuvut. Työkuormissa, joissa yksinkertaiset muunnokset tai reduktiot hallitsevat, PIM voi poistaa pullonkauloja muuttamatta koko ohjelmistokantaa.

Aamun pääpuhe kehysti strategian. Jin-Yub Lee, varatoimitusjohtaja ja Flash-tuote- ja teknologiajohtaja, yhdessä Kyungryun Kimin, DRAM-suunnittelutiimin varapresidentin ja projektijohtajan, kanssa hahmottelivat Samsungin näkemyksen muistista aktiivisena järjestelmäelementtinä, ei pelkkänä passiivisena tallennustilana. He perustelivat, että pinonta ja yhdistäminen tulevat olemaan vipuja, joilla saadaan enemmän suorituskykyä ja tehokkuutta tekoälyjärjestelmistä.

Joten mihin tämä meidät jättää? Samsung esitteli työkalupakin: tiheämpi flash tallennukseen, pinotut HBM-variantit kaistanleveyttä vaativaan laskentaan, kompakti NAND reunalaskentaan ja RAM-muisti, joka voi suorittaa laskentaa. Jokaisella osalla on merkitystä. Yhdessä ne vihjaavat tulevaisuudesta, jossa muistin suunnittelu näyttelee pääosaa tekoälyn resurssitarpeen hillitsemisessä.