Bonsai 27B: l’intelligenza artificiale che finalmente non ha bisogno di un data center (o di venderti l’anima)
Se pensavate che per far girare un modello serio servisse una farm di GPU che consuma quanto una piccola città italiana, preparatevi a riconsiderare i vostri pregiudizi. PrismML ha appena rilasciato Bonsai 27B e, onestamente, la notizia è abbastanza scioccante. Stiamo parlando di un modello basato su Qwen3.6 che riesce a far convivere una capacità di ragionamento da 27B di parametri all’interno di un footprint che non farebbe piangere nemmeno un vecchio smartphone. Il trucco (o la genialata, dipende dai punti di vista) sta nell’uso di pesi ternari e addirittura binari. Per chi non mastica bit a colazione: invece di usare la solita precisione a 16 bit che gonfia i modelli come un pallone gonfiabile, hanno usato pesi che valgono solo {-1, 0, +1} o addirittura solo {-1, +1}. Il risultato? Una variante da 5.9 GB che gira sul vostro laptop e una versione da soli 3.9 GB che potrebbe stare comodamente su un iPhone 17 Pro. Ma non fatevi ingannare dal nome ‘Bonsai’: non è un modellino inutile. I benchmark dicono che nella matematica e nel coding la perdita di precisione è quasi impercettibile. Se il modello originale vanta un punteggio di 95.3 in matematica, la versione Ternary arriva a 93.4. È un compromesso che accetto volentieri, specialmente quando si parla di ‘intelligence density’. Perché questa cosa dovrebbe interessarci, oltre al piacere puramente nerd di vedere un LLM locale che non fa esplodere la RAM? Perché qui si parla di autonomia. Il futuro dell’AI non è solo ‘chiedere cose a un server in California’ e sperare che i tuoi dati rimangano privati. Il futuro è l’agentic workflow: modelli che usano strumenti, analizzano screenshot, leggono documenti e agiscono in autonomia senza che ogni singola iterazione debba fare il giro del mondo per tornare da te sotto forma di chiamata API. Far girare tutto questo localmente significa eliminare la latenza e, soprattutto, riprendersi il controllo. Niente più dipendenza totale da cloud proprietari che decidono i prezzi e la privacy dei tuoi input in base ai loro nuovi termini di servizio. La notizia è in Apache 2.0, quindi la community può iniziare a smanettare subito. Se riuscite a far girare un agente capace di navigare il vostro filesystem senza mandare in corto circuito il processore, fatemi un fischio. Il futuro è piccolo, compatto e, finalmente, nel nostro palmo. Source: Bonsai 27B: A 27B-Class model that runs on a phone