PrismML julkaisi Bonsai 27B:n – 3,9 gigatavun versio mahtuu yhtiön mukaan iPhone 17 Prohon

PrismML on julkaissut Bonsai 27B -tekoälymallin, jonka 3,9 gigatavun 1-bittisen version yhtiö kertoo mahtuvan iPhone 17 Pron muistibudjettiin. Julkaisu pyrkii tuomaan 27 miljardin parametrin kokoluokan mallin puhelimeen, kun tämän kokoiset mallit ovat tavallisesti vaatineet pilvipalvelua tai runsaasti muistia.

Kaksi eri tavoin pakattua versiota

Tavanomaisella 16 bitin tarkkuudella 27 miljardin parametrin malli tarvitsee noin 54 gigatavua muistia. Myös neljään bittiin kvantisoitu versio vie noin 18 gigatavua. Bonsai 27B:n ratkaisu on pudottaa painojen esitystarkkuus selvästi tätä alemmas ja käyttää samalla ryhmäkohtaista FP16-skaalausta.

Pienempi 1-bittinen versio käyttää binäärisiä painoja, joiden arvot ovat −1 tai +1. Sen tehollinen tarkkuus on 1,125 bittiä painoa kohti. PrismML kuvaa 3,9 gigatavun pakettia tilankäyttöön optimoiduksi vaihtoehdoksi ja väittää sen tuovan 27B-kokoluokan mallin ensimmäistä kertaa puhelimeen.

Laatuun painottuva Ternary-versio käyttää puolestaan arvoja −1, 0 ja +1. Sen tehollinen tarkkuus on 1,71 bittiä painoa kohti ja koko 5,9 gigatavua. Yhtiön mukaan versio toimii tavallisessa kannettavassa ja säilyttää päättely-, työkalukutsu- ja agenttitoiminnot.

Nopeusluvut vaihtelevat laitteittain

PrismML:n omissa suorituskykymittauksissa 1-bittinen malli saavuttaa Nvidia GeForce RTX 5090 -näytönohjaimella enimmillään 163 tokenia sekunnissa ja Ternary-versio 134 tokenia sekunnissa. M5 Max -järjestelmässä vastaavat huippuluvut ovat 87 ja 58 tokenia sekunnissa.

Yhtiön mukaan Bonsai 27B toimii iPhonen lisäksi iPadissa ja Macissa. PrismML on saanut huomiota myös Apple-yhteyksistään: The Information kertoi yhtiöiden tavanneen keskustellakseen tavoista, joilla Apple voisi hyödyntää teknologiaa. PrismML:n toimitusjohtaja on lisäksi sanonut CNBC:lle Applen tarkastelevan yhtiön teknologiaa.

Julkaistut koko- ja nopeusluvut ovat PrismML:n ilmoittamia. Puhelinkäytön todellinen suorituskyky, energiankulutus ja mallin laadun säilyminen eivät käy ilmi esitetyistä luvuista, joten väitteet tarvitsevat vielä riippumatonta käytännön testausta.