Janas: far girare modelli AI più grandi della RAM su un PC

Janas è un motore di inferenza open source, scritto in C, che permette di eseguire modelli AI più grandi della RAM disponibile: un file da circa 48 GB può girare su un normale notebook con appena 32 GB di memoria. Il merito è dell’italiano Maurizio «camauri» Cammalleri, che invece di comprimere il modello finché entra in memoria ha ribaltato il problema: i pesi restano sull’SSD e vengono letti solo quando servono. Sul portatile dello sviluppatore, un modello da 80 miliardi di parametri risponde a una velocità utilizzabile, dove gli strumenti tradizionali rallentavano fino a diventare inservibili. Capire come ci riesce — e dove inciampa — aiuta a distinguere, in questo ottobre 2026, l’innovazione reale dall’annuncio.

Cos’è Janas e come fa girare modelli più grandi della RAM

Janas (nome completo Janas-LLM) è un motore di inferenza open source scritto in linguaggio C che esegue grandi modelli linguistici lasciando i pesi sul disco e caricando in RAM solo la parte necessaria a generare ogni token. In pratica svincola la dimensione del modello dalla quantità di memoria fisica del computer.

Il nome strizza l’occhio alle janas, le fatine della mitologia sarda: un tocco identitario per un progetto interamente italiano, firmato da Maurizio «camauri» Cammalleri e rilasciato come software libero sotto licenza GNU GPL versione 3.

Oltre al motore di inferenza, il pacchetto include elementi che lo rendono utilizzabile da subito:

• una chat da terminale per interrogare il modello in locale;
• un server HTTP compatibile con le API di OpenAI (chat, embedding, strumenti) e con supporto MCP;
• la possibilità di girare anche solo su CPU, con GPU facoltativa.

Janas si inserisce così nell’ondata di strumenti che riportano l’AI sul computer dell’utente, nello stesso solco delle AI gratuite che sostituiscono software a pagamento.

Il trucco dei modelli Mixture of Experts (MoE)

I modelli Mixture of Experts (MoE) sono reti neurali suddivise in molti gruppi di parametri specializzati, gli expert. Per ogni token, un componente chiamato router decide quali expert attivare: così il modello usa solo una frazione dei propri parametri a ogni passaggio.

È qui che si gioca la partita. Il modello di riferimento di Janas è Qwen3-Next-80B-A3B: la sigla indica circa 80 miliardi di parametri totali, ma solo qualche miliardo attivo per token (la «A3B» sta per circa 3 miliardi attivi). Il titolo «80 miliardi di parametri su un PC» è quindi corretto sul conteggio complessivo, ma a ogni passaggio ne lavora davvero una porzione ridotta.

Questa caratteristica è perfetta per la strategia di Janas: se a ogni token serve solo una manciata di expert, non è necessario tenere l’intero modello in memoria. Basta recuperare in fretta i pezzi giusti.

SSD NVMe, O_DIRECT e cache: come Janas evita lo swap

La differenza rispetto al semplice swap del sistema operativo sta nel controllo. Janas mantiene una cache degli expert nella RAM libera e recupera dall’SSD quelli mancanti; gli expert usati spesso restano in memoria, quelli rari tornano sul disco. Il motore sa distinguere i pesi sempre necessari da quelli occasionali, mentre con la memoria mappata è il sistema operativo a decidere alla cieca.

Su Linux, Janas usa letture O_DIRECT, un meccanismo di I/O diretto che salta la normale page cache del kernel e legge il disco alla massima velocità, affiancato da tecniche di prefetching per anticipare i componenti necessari. È lo stesso principio che rende pratico portare un modello AI offline su un disco esterno, spinto però all’estremo.

Il prezzo da pagare è l’hardware: il motore riempie la memoria libera con la sua cache e martella l’SSD. Le prestazioni dipendono molto dalla velocità dell’unità e dalla RAM destinata alla cache.

Janas vs llama.cpp: i numeri (e i limiti)

Sul notebook di sviluppo (Intel Core Ultra 9 185H, 32 GB di RAM, SSD NVMe), con il modello Qwen3-Next-80B-A3B da circa 48 GB, l’autore riporta questi valori rispetto a llama.cpp, il motore di riferimento del settore:

Il guadagno non viene da calcoli più veloci, ma dalla riduzione delle attese quando una parte dei pesi deve ancora arrivare dal disco. Importante, però, non leggere questi numeri come una vittoria assoluta.

Sono misure di una singola macchina, quella dell’autore, e il progetto stesso chiede test su hardware diverso. Un benchmark indipendente di terze parti (su un sistema con 64 GiB e GPU RTX 4070 Laptop) mostra il quadro reale: sul modello da 30B llama.cpp è risultato più veloce in decodifica, mentre sul modello da 235B — impossibile da tenere in RAM — Janas è andato circa 1,9 volte più veloce. Il vantaggio emerge soprattutto quando il modello supera la memoria disponibile, non sempre.

Come provare Janas

Janas supporta Vulkan, sfrutta anche le GPU integrate Intel Arc e funziona sia su Linux sia su Windows 10 e 11. Il codice, le release precompilate e uno script di test rapido sono pubblicati nel repository ufficiale su GitHub; i modelli vengono convertiti in locale in un formato dedicato e non ridistribuiti.

Resta un progetto sperimentale, con supporto hardware e software ancora limitato e la raccomandazione dell’autore di non usarlo come unico strumento in produzione. Ma l’intuizione è solida: la dimensione di un modello non deve per forza coincidere con la RAM necessaria a eseguirlo. Per l’AI locale, il tetto non è più la memoria, ma la banda dell’SSD.

Domande frequenti

Cos’è Janas e chi l’ha sviluppato?

Janas è un motore di inferenza AI open source scritto in C, sviluppato dall’italiano Maurizio «camauri» Cammalleri e rilasciato sotto licenza GPL-3.0. Esegue grandi modelli linguistici su computer comuni leggendo i pesi direttamente dall’SSD NVMe, senza bisogno di GPU dedicate con molta VRAM. Il suo primo componente si chiama Janas-LLM.

Come fa Janas a eseguire un modello da 48 GB con solo 32 GB di RAM?

Janas sfrutta l’architettura Mixture of Experts: a ogni token serve solo una frazione dei parametri del modello. Il motore tiene i pesi sul disco, carica in una cache in RAM gli expert usati più spesso e recupera gli altri dall’SSD NVMe con letture dirette O_DIRECT. Così la memoria fisica non deve contenere l’intero file del modello.

Janas è davvero più veloce di llama.cpp?

Dipende dallo scenario. Quando il modello supera la RAM disponibile, Janas è molto più rapido: sul suo portatile l’autore misura 24 token/s contro i 2,8 di llama.cpp. Ma un test indipendente mostra che su modelli piccoli, che entrano in memoria, llama.cpp può essere più veloce in decodifica. Il vantaggio di Janas emerge soprattutto con i modelli troppo grandi per la RAM.

Su quali sistemi operativi funziona Janas?

Janas funziona su Linux, Windows 10 e Windows 11. Le letture dirette O_DIRECT sono disponibili su Linux, mentre l’accelerazione grafica tramite Vulkan sfrutta anche le GPU integrate come le Intel Arc. Il motore può comunque girare solo su CPU, rendendo la prova accessibile a gran parte dei computer recenti.

Serve una GPU per usare Janas?

No, una GPU dedicata non è obbligatoria: Janas è progettato per girare anche solo su CPU, usando l’SSD come serbatoio per i pesi del modello. Una GPU, anche integrata, può accelerare l’elaborazione del prompt tramite Vulkan, ma il collo di bottiglia principale resta la velocità dell’unità SSD e la RAM disponibile per la cache.

Conclusione

Janas dimostra che l’AI locale non è più prigioniera della quantità di RAM installata: con una gestione intelligente di SSD e modelli MoE, anche un notebook comune può affrontare carichi finora riservati a workstation costose. È un progetto giovane e sperimentale, ma sposta un limite che davamo per fisso. E tu, quanta RAM hai sul tuo PC e quale modello vorresti provarci? Scrivilo nei commenti. #tuttelevitediunmaker