PEPS: Paikannusenkoodauksen uusi suunta tekstuureille

Ajattele tekstuuria kuin melodiaa. Yksinkertaiset koordinaatit hyräilevät sävelmää. Kuvittele nyt sovittavasi tuo sävelmä kiertävälle Lissajous-käyrälle siten, että melodiaan tulee huomattavasti enemmän harmonisia yläääniä. Suurpiirteisesti juuri sitä AMD:n paikannusenkoodauksen projektoitu näytteenotto, eli PEPS, ehdottaa.

Uusi käänne paikannusenkoodaukseen

Perinteinen neuraalinen tekstuuripakkaus nojautuu implisiittisiin neuraalisiin esityksiin eli INR:ään. Syötät matalaulotteiset tekstuurikoordinaatit monikerroksiselle perceptronille (MLP), ja verkko oppii uudelleenluomaan kuvan yksityiskohtia erittäin pienellä muistijäljellä. Paikannusenkoodaus on avaintekijä: se nostaa koordinaatit korkeampiin sinusoidaalisiin dimensioihin, jolloin MLP voi mallintaa hienoja yksityiskohtia.

PEPS muuntaa tämän noston uudella tavalla. Sen sijaan, että jokainen sinusoidaalinen upotus käsiteltäisiin erillisenä vektorina, AMD:n lähestymistapa mallintaa nuo upotukset pisteiksi Lissajous-käyrille ja näytteistää enkooderia tai verkkoa näissä projisoiduissa pisteissä. Tuloksena on laajennettu informaatiomanifoldi, jonka INR voi hyödyntää. Käytännössä malli pystyy kuvaamaan rikkaampia tekstuurisisältöjä ilman muutoksia verkon runkoon.

Koukku on kustannus. Lisää näytteenottoa tarkoittaa enemmän laskentaa ja suurempaa muistiliikennettä. AMD:n kokeet 9070 XT -näytönohjaimella osoittavat vaihtosuhteen selkein numeroin: kolmikanavaisen 1024×1024-tekstuurin tuottaminen vei perustilassa 4,32 millisekuntia. Grid-PEPS nosti sen 5,47 millisekuntiin. Optimoitu variantti nimeltä Grid-PinkPEPS pienensi rangaistusta 4,86 millisekuntiin, mutta se ei päihittänyt perustilaa. Lisäcyklit johtuvat lisäprojektioista ja raskaammista muistikäytöistä, joita PEPS edellyttää.

Tuo laskennallinen ylikuorma ei kuitenkaan ole tuhoisa. Se on suunnittelupäätös. Jos prioriteettisi on puhdas pakkaustehokkuus ja tallennustilan säästö, PEPS tarjoaa uuden vivun. Jos taas prioriteettisi on viiveherkkä reaaliaikainen renderöinti, saatat suosia kevyempiä enkoodereita ainakin toistaiseksi.

Toinen mielenkiintoinen näkökulma: tämä temppu ei rajoitu pelkästään väritekstuureihin. PEPS soveltuu myös signoituihin etäisyyskenttiin, eli SDF:iin, jotka ovat monen nykyaikaisen geometrian ja volyymisen renderöinnin perusta. SDF:t vaativat usein korkean resoluution verkkoja, jotka syövät näytönohjaimen muistia. Kompakti ja ilmeikäs INR, joka säilyttää uskollisuuden, voisi merkittävästi vähentää muistipainetta kohtauksissa, jotka muutoin vaatisivat kilometreittäin tekstuuri- ja geometriapuskureita.

Näkyykö PEPS siis seuraavassa Radeon-ajurissasi? Ei välittömästi. Tutkimuspaperi esiteltiin I3D:ssä ja esittelee lupaavia teknisiä ideoita, mutta teollisuuden omaksuminen jää tutkimuksen jälkeen. Nvidia on jo julkaissut julkisia työkaluja ja demoja neuraalisten tekstuurityönkulkujen ympärille, mutta yksikään laajalti julkaistu nimike ei vielä sisällä täyttä neuraalista tekstuuripakkausputkea. AMD:n julkiset materiaalit pysyvät kokeellisina ja brändittöminä; yhtiö käyttää julkaisuissaan yhä yleistermejä kuluttajille suunnatun nimen sijaan.

Taustalla on laajempi konteksti. Ala on yhä käymässä läpi monissa tunnistettua muistipulaa, joten keskimääräisissä korteissa, joissa on 8 gigatavua muistia, toimiminen on yhä yleistä. Kaikki tekniikat, jotka puristavat muistin käyttöä ilman dramaattisia laitteistovaatimuksia, ovat käytännöllisesti kiinnostavia. PEPS sijoittuu suoraan tähän kenttään: ilmaisuvoimaisempi pakkaus laskennan hinnalla, mikä voi olla järkevä vaihtokauppa studioille ja pelimoottoreille, jotka pystyvät jakamaan CPU- ja näytönohjaimen kuormaa.

Lopulta PEPS tuntuu elegantilta kokeilulta, jolla on käytännön vaikutuksia. Se venyttää rajoja siinä, miten paikannusenkoodausta voidaan hyödyntää, lainaamalla ripauksen geometriaa ja signaalinkäsittelyä antaakseen INReille enemmän tilaa toimia. Odotettavissa on lisää julkaisuja, optimointeja ja hitaita, varovaisia siirtymiä laboratoriodelmoista työkaluihin ja moottoreihin. Toistaiseksi PEPS on kiinnostava välietappi kohti tehokkaampia sisältöputkia, ei valmis kuluttajaominaisuus.