Kun maksat 200 dollaria kuukaudessa, saatat luulla saavasi premium-botin. Mutta pinnan alla tuo kuukausimaksu voi paisua paljon suuremmaksi laskuksi yritykselle, joka pyörittää mallia. SemiAnalysis testasi raskaiden käyttötapausten vaikutusta OpenAI:n ja Anthropicin maksullisilla tasoilla, ja luvut ovat... silmiinpistäviä.
Kuvittele kehittynyt käyttäjä, joka ajaa pitkiä koodausjaksoja ja agenttiohjelmia, kunnes viikkorajat tulevat vastaan. Lyhyt prompti? Pieni kustannus. Orkestroituja agentteja, jotka iteratiivisesti kutsuvat työkaluja ja uudelleenkehottelevat? Tokenien määrä räjähtää. SemiAnalysis arvioi, että täysin kuormitettu ChatGPT Pro 20x -tilaus, jonka hinta on 200 dollaria kuukaudessa, voisi vastata noin 14 000 dollarin API-tason token-kustannuksia OpenAI:lle. Anthropicille samaa hintaa oleva Claude Max 20x voisi maksaa noin 8 000 dollaria.
Ne luvut kertovat yhden asian selvästi: otsikkohinnoissa kerrotaan hyvin vähän taustataloudesta. Kuinka nopeasti palveluntarjoaja saavuttaa kannattavuuden, riippuu vähemmän siitä, kuinka paljon käyttäjä maksaa ja enemmän siitä, kuinka tehokkaasti käyttäjä kuluttaa laskentaa ja tokenit.
Katetuottopisteet tulevat vastaan nopeammin kuin voisi kuvitella. SemiAnalysisin mallinnus viittaa siihen, että Anthropicin Claude Pro ja Claude Max 5x -suunnitelmat kääntyvät voitollisiksi vain, jos tyypillinen käyttäjätehokkuus on noin 20 prosenttia. OpenAI:lla marginaalit ovat vielä kireämmät: ChatGPT Plus ja ChatGPT Pro 5x voivat ajautua tappiolle, kun käyttäjän käyttöaste nousee yli noin 11,4 prosenttia. Korkeimmilla tasoilla tilanne käy karummaksi, Anthropicin nollakatemargiini saavutetaan lähellä 10 prosentin käyttöastetta, kun taas OpenAI siirtyy negatiiviseksi yli noin 5,7 prosentin.
Yksinkertaisesti sanottuna: et tarvitse armeijaa tehokäyttäjiä tehdäkseen tilauksesta kannattamattoman. Kehittyneet agenttityönkulut, raskaat koodin vianetsintäistunnot tai yritysten automaatioprosessit voivat työntää kulut vaaravyöhykkeelle hyvinkin nopeasti.
200 dollarin kuukausisuunnitelma voi aiheuttaa palveluntarjoajalle pahimmassa tapauksessa jopa 14 000 dollarin token-kustannukset.
Tuo taloudellinen puristus muokkaa jo sisäistä yrityskäyttäytymistä. Tokenien kulutus kasvaa nopeasti, agenttityyppiset järjestelmät voivat vaatia jopa 1 000 kertaa yhden promptin tokenit. Yritykset, jotka aiemmin kannustivat laaja-alaiseen sisäiseen kokeiluun, rajoittavat nyt pääsyä. Microsoft, Meta ja Amazon ovat tiukentaneet sisäisiä ohjelmia laskusokin jälkeen, kun innostuneet työntekijät kohtelivat suuria kielimalleja kuin ilmaisia tutkimustyökaluja.
Tässä on myös poliittinen jännite. Kiinteähintaiset tilaukset ovat nopeuttaneet käyttäjäkasvua ja tehneet teknologian valtavirtaiseksi. Ne laskevat kynnystä ja yksinkertaistavat arvon esittämistä. Mutta ne myös peittävät marginaalikustannuksia, ja kun muutama korkean kulutuksen käyttäjä ilmestyy, ne voivat nopeasti ylittää hinnoittelumallin talouden.
SemiAnalysis tarjoaa kuitenkin keinon helpotukseen: infrastruktuurin ja mallitehokkuuden parantuessa keskitason mallit voivat tulla huomattavasti halvemmaksi operoida, mikä mahdollisesti kääntyy kuluttajahintaisiksi tasoiksi noin 20 dollarin kuukaudessa. Kiintiö on huippuluokan malleissa. Kykykkäimmät seuraavan sukupolven järjestelmät pysyvät todennäköisesti kalliina ajaa ja voidaan siirtää tilausvalikoimista vain API-käyttöön, käytön mukaan laskutettavaksi raskaalle kuluttajalle.
Yrityksille ja tehokäyttäjille tämä vihjaa tulevasta jaosta: edulliset tilaukset jokapäiväisiin tehtäviin ja mitattu API-käyttö suuren volyymin automaatioon ja kehittyneeseen agenttityöhön. Myyjille haaste on enemmän poliittinen kuin tekninen, miten tiukentaa pääsyä tai korottaa hintoja ilman, että kasvua tukahdutetaan ja käyttäjäkunta, joka on vasta tottumassa tähän teknologiaan, vieraantuu.
Joka tapauksessa matematiikka saavuttaa spekuloinnin. Tilaukset olivat kasvun moottori. Nyt ne pakottavat yritykset tarkastelemaan, missä todelliset kustannukset ovat ja kuka lopulta maksaa laskun.
"Työskentelen pilvipalveluiden parissa ja kirjoitan Diginissä niiden hyödyistä yrityksille ja yksityisille käyttäjille. Haluan tehdä monimutkaisesta teknologiasta helposti ymmärrettävää."
Keskustelu
Jätä kommentti
Kommentit
Ei vielä kommentteja. Ole ensimmäinen.