Chi esegue modelli di IA locali con Ollama, LM Studio o altre applicazioni su Mac con Apple Silicon si trova prima o poi davanti a una domanda decisiva: quanto si può comprimere un modello linguistico senza che ne risenta la qualità delle risposte? I moderni modelli di IA richiedono in parte quantità enormi di memoria di lavoro. Grazie alla cosiddetta quantizzazione, questo fabbisogno può essere ridotto notevolmente, così da poter eseguire anche modelli potenti su hardware relativamente accessibile. Tuttavia, non ogni livello di compressione è ugualmente adatto a compiti impegnativi.
Tra Q2, Q4, Q8 e FP16 esistono differenze marcate in termini di fabbisogno di memoria, velocità e precisione. Soprattutto in analisi complesse, attività di programmazione o elaborazione di documenti propri, queste differenze possono essere decisive. Questo articolo spiega i fondamenti tecnici della quantizzazione, confronta formati diffusi come GGUF e MLX e mostra quali effetti hanno i diversi livelli di precisione sui sistemi di IA locali. Raccomandazioni pratiche aiutano a trovare un compromesso sensato tra prestazioni, consumo di memoria e qualità delle risposte per il proprio hardware e il rispettivo caso d'uso.