Chi esegue modelli di IA locali con Ollama, LM Studio o altre applicazioni su Mac con Apple Silicon si trova prima o poi davanti a una domanda decisiva: quanto si può comprimere un modello linguistico senza che ne risenta la qualità delle risposte? I moderni modelli di IA richiedono in parte quantità enormi di memoria di lavoro. Grazie alla cosiddetta quantizzazione, questo fabbisogno può essere ridotto notevolmente, così da poter eseguire anche modelli potenti su hardware relativamente accessibile. Tuttavia, non ogni livello di compressione è ugualmente adatto a compiti impegnativi.
Tra Q2, Q4, Q8 e FP16 esistono differenze marcate in termini di fabbisogno di memoria, velocità e precisione. Soprattutto in analisi complesse, attività di programmazione o elaborazione di documenti propri, queste differenze possono essere decisive. Questo articolo spiega i fondamenti tecnici della quantizzazione, confronta formati diffusi come GGUF e MLX e mostra quali effetti hanno i diversi livelli di precisione sui sistemi di IA locali. Raccomandazioni pratiche aiutano a trovare un compromesso sensato tra prestazioni, consumo di memoria e qualità delle risposte per il proprio hardware e il rispettivo caso d'uso.
Cosa significa la quantizzazione nei modelli locali
I modelli linguistici differiscono non solo per le loro capacità, ma anche per il formato tecnico in cui sono disponibili. Questi formati determinano come un modello viene memorizzato, caricato e utilizzato – e se è eseguibile su un determinato sistema. Per l'uso locale in strumenti come Ollama, LM Studio o Llama.cpp si è affermato il formato GGUF. È compatto, portabile e altamente ottimizzato per l'inferenza su diverse piattaforme.
I modelli GGUF sono per lo più quantizzati, il che significa che i valori numerici interni vengono memorizzati in modo ridotto, ad esempio con precisione 4-bit o 8-bit. In questo modo modelli che originariamente erano grandi 30 fino a 50 GB possono essere compressi a 5 fino a 10 GB – con una perdita di qualità solo lieve. Il vantaggio: GGUF funziona su quasi ogni sistema, da macOS a Windows fino a Linux, senza che sia necessaria una GPU speciale. Lo svantaggio: il formato non è pensato per l'addestramento o il fine-tuning, ma esclusivamente per l'uso puro.
Oltre a GGUF esistono altri formati. MLX è il framework open source di Apple per il machine learning su Apple Silicon. È stato sviluppato appositamente per sfruttare appieno le prestazioni di CPU, GPU e Neural Engine nei chip M. I modelli MLX sono per lo più nel formato MLX nativo o vengono convertiti da altri formati. Il vantaggio: massime prestazioni ed efficienza energetica su hardware Apple. Lo svantaggio: l'ecosistema è ancora relativamente giovane e sono disponibili meno modelli della community rispetto a GGUF o PyTorch.
Safetensors proviene dal mondo PyTorch ed è fortemente promosso da Hugging Face. È un formato di memorizzazione binario sicuro per modelli grandi, che non consente l'esecuzione di codice – da qui il nome „safe“. Il vantaggio: caricamento molto rapido, risparmio di memoria e standardizzato. Lo svantaggio: è pensato principalmente per framework come PyTorch o TensorFlow, quindi è più comune in ambienti di sviluppo e per processi di addestramento. Per l'uso diretto con Ollama o MLX non è compatibile.
Quantizzazione spiegata semplicemente: perché l'IA ha bisogno di meno memoria | visione a bit
Q4, Q8 e FP16: i livelli più importanti a confronto
I livelli di quantizzazione diffusi differiscono nettamente per precisione e fabbisogno di memoria. Ollama utilizza per impostazione predefinita la quantizzazione 4-bit, il che significa che il numero dopo la „q“ indica la quantità di bit usati per la quantizzazione. Più alto è il numero, più preciso è il modello, ma più lentamente funziona e più memoria richiede. In caso di problemi con livelli di quantizzazione più alti, si consiglia di usare il modello q4 o di chiudere i programmi che consumano molta memoria.
La quantizzazione 8-bit offre un modo semplice per ridurre i costi senza compromettere la qualità. Riducendo la dimensione del modello di circa quattro volte rispetto a FP32, le prestazioni restano quasi uguali, con una perdita di precisione inferiore all'1 percento. Questo la rende un'ottima opzione di ingresso per i team che si avvicinano alla quantizzazione e offre un'opzione a rischio basso o moderato. La quantizzazione 4-bit è anch'essa un'opzione pratica per l'uso produttivo, mentre la 2-bit è considerata rischiosa.
Per le sviluppatrici e gli sviluppatori che eseguono modelli locali su Mac con Apple Silicon, la scelta del livello di quantizzazione è un bilanciamento tra fabbisogno di memoria e precisione. La quantizzazione 8-bit riduce il fabbisogno di memoria del 50 percento, accelera l'inferenza di un fattore 1,8 e mantiene oltre il 99 percento della precisione su benchmark impegnativi come HumanEval. La quantizzazione 4-bit è 11 volte più efficiente della 2-bit in termini di riduzione delle dimensioni rispetto alla perdita di qualità. Per le applicazioni in cui la precisione è decisiva, la quantizzazione 8-bit (INT8 o FP8) offre una qualità quasi senza perdite.
L'impatto sulla qualità delle risposte: da dove inizia il calo di qualità?
La perdita di qualità a livelli di quantizzazione più bassi è misurabile e dipende dalla dimensione del modello. In un benchmark di gennaio 2026, la configurazione Q4_K_M (4-bit) ha ridotto la dimensione di Mistral-7B-Instruct-v0.2 da 7,2 GB a 4,1 GB – una riduzione del 43,1 percento – mentre la perdita di qualità nella perplexity è stata di solo 0,51 percento, considerata quasi trascurabile. Un'ulteriore riduzione a 2-bit (Q2_K) ha invece portato a un brusco calo di precisione del 7,94 percento, definito „qualitätskliff“.
La variante 70B è più sensibile alla quantizzazione. Llama 3.3 70B ha subito un calo sensibile di 7,8 punti sul benchmark MMLU quando è stato ridotto a 4-bit. Questo calo contrasta con la robustezza dei modelli più piccoli come la versione 8B. Le valutazioni delle prestazioni di ottobre 2024 mostrano che i modelli quantizzati a 8-bit mantengono il 99,9 percento della precisione dei loro equivalenti a piena precisione, mentre i modelli 4-bit mantengono circa il 98,9 percento su benchmark come HumanEval+.
Red Hat Developer ha condotto oltre mezzo milione di valutazioni e ha rilevato che i modelli ben quantizzati ripristinano in media il 99 percento del punteggio di base, con tutti i modelli che mostrano almeno il 96 percento di ripristino. La qualità delle risposte dei modelli quantizzati resta altamente competitiva rispetto ai loro equivalenti non quantizzati. Gli intervalli di confidenza del 95 percento si sovrappongono per tutte le dimensioni dei modelli e gli schemi di quantizzazione, sottolineando l'impatto minimo sulla precisione.
Consumo di RAM e velocità su Apple Silicon
Quando un modello linguistico viene eseguito localmente, la memoria di lavoro (RAM oppure, su Apple: „Unified Memory“) è di importanza centrale. Il modello stesso, inclusi pesi, attivazioni e risultati intermedi, deve essere mantenuto in memoria. Più grande è il modello, più memoria è necessaria. I chip Apple Silicon utilizzano la „Unified Memory“, il che significa che CPU, GPU e Neural Engine accedono allo stesso pool di memoria. In questo modo si evitano copie di dati tra i componenti, aumentando efficienza e velocità.
Se non è disponibile sufficiente RAM, il sistema deve effettuare lo swapping oppure i modelli non vengono caricati completamente, il che può portare a cali di prestazione, instabilità o interruzioni. Soprattutto nelle applicazioni inferenziali, come la generazione di risposte, l'inserimento di testo o l'estensione del modello, contano tempo di reazione e throughput, e qui una memoria sufficiente aiuta notevolmente. Un tradizionale PC desktop pensava in passato in termini di „RAM della CPU“ e „RAM GPU separata“ – su Apple Silicon è elegantemente unito, il che rende particolarmente attraente l'esecuzione di modelli linguistici.
Per modelli più piccoli, ad esempio con poche miliardi di parametri, potrebbero bastare 16 fino a 32 GB di RAM, soprattutto se devono essere elaborate solo richieste singole. Un Mac Mini con 16/32 GB sarebbe quindi un punto di partenza. Per modelli medi, ad esempio con 3 fino a 10 miliardi di parametri, oppure per attività con più chat parallele o quantità di testo maggiori, si dovrebbero considerare 32 GB di RAM o più, ad es. Mac Studio con 32 o 48 GB. Per modelli grandi, oltre 20 miliardi di parametri, oppure se devono essere eseguiti più modelli in parallelo, si potrebbero scegliere 64 GB o più.
È importante prevedere un certo margine, poiché non solo il modello, ma anche il funzionamento, come il sistema operativo, l'I/O dei file o altre applicazioni, richiede riserve di memoria. Per modelli piccoli (1-3 miliardi di parametri) si consigliano 16-32 GB di RAM, per modelli medi (7-13 miliardi di parametri) 32-64 GB, e per modelli grandi (30-70 miliardi di parametri) 64 GB o più. Questo consente di eseguire in modo efficiente modelli come qwen3-coder:30b con 19 GB a Q4_K_M oppure gpt-oss:20b con 16 GB di RAM.
Raccomandazione pratica: quale livello per quale caso d'uso?
La scelta del livello di quantizzazione appropriato dipende direttamente dal caso d'uso concreto e dai requisiti in materia di protezione dei dati. I modelli linguistici locali sono particolarmente adatti laddove la riservatezza è obbligatoria o sono richiesti processi in tempo reale. Nella pratica si osserva che settori come l'avvocatura o la medicina puntano su soluzioni locali per elaborare dati sensibili dei pazienti o atti senza dipendenza dal cloud. Anche nella produzione di libri e media o nel settore dei sistemi ERP, i modelli locali consentono analisi automatiche del testo e suggerimenti generati direttamente dal software. Per gli studi di ingegneria e gli architetti questi assistenti sono inoltre un vantaggio, poiché funzionano in modo affidabile anche senza connessione internet. Le aziende beneficiano in generale di assistenti chat interni e di valutazioni di verbali che rimangono completamente all'interno della propria rete.
Un vantaggio pratico essenziale dei modelli locali rispetto ai servizi cloud è la velocità di reazione. Mentre le API esterne possono essere ritardate da percorsi di rete o dal carico del server, i modelli locali rispondono, a seconda dell'hardware, quasi in tempo reale. Questo è decisivo soprattutto per attività ripetute o processi interattivi, come un'analisi dei dati in tempo reale, per il flusso di lavoro. Nel settore commerciale, l'esecuzione su macchine proprie consente inoltre l'adattamento e la messa a punto dei modelli con conoscenze aziendali. Nasce così un panorama IT che utilizza la tecnologia moderna senza cedere la sovranità sui propri dati. La decisione per un determinato livello di quantizzazione non dovrebbe quindi essere considerata isolatamente, ma compresa come parte di una strategia che unisce sovranità e prestazioni.
Quantizzazione nei sistemi RAG: particolarità da considerare
Nei sistemi Retrieval-Augmented-Generation (RAG), la quantizzazione svolge un ruolo centrale, poiché qui il modello linguistico viene combinato con una ricerca in raccolte di documenti o database. Questa procedura serve ad aumentare l'affidabilità delle risposte generate e a colmare le lacune di conoscenza del modello mediante conoscenza esterna. RAG è particolarmente utile in scenari ad alta intensità di conoscenza, poiché può attenuare le allucinazioni facendo ricorso a informazioni rilevanti e appena recuperate. In questo modo è possibile sfruttare il potenziale dei grandi modelli linguistici per i dati interni senza dover effettuare costose messe a punto.
L'implementazione tecnica richiede che i documenti vengano prima suddivisi in sezioni più piccole e che vengano generati in forma vettoriale (embeddings) tramite Ollama. Questi vettori vengono poi inseriti in un database adatto, come ad esempio Qdrant. Nella scelta del livello di quantizzazione per il processo di embedding, va considerato che una compressione troppo aggressiva può compromettere il calcolo della similarità. Nella pratica si dovrebbe quindi valutare se il risparmio di memoria ottenuto con livelli inferiori giustifichi la potenziale riduzione della precisione di ricerca. Spesso si osserva che per i modelli di embedding una precisione più elevata rispetto al modello linguistico generativo stesso è vantaggiosa, per garantire che vengano recuperati i frammenti di contesto corretti.
La scelta del livello di quantizzazione è in definitiva un compromesso tra consumo di risorse e precisione. Per i sistemi RAG vale la pena armonizzare la precisione della ricerca e le prestazioni del generatore, per ottenere risultati affidabili.
Fonti sulla quantizzazione dei LLM
- Apple MLX vs. NVIDIA: come funziona l'inferenza AI locale sul Mac
- IA locale su Mac: come installare un modello linguistico con Ollama
- RAG con Ollama e Qdrant come motore di ricerca universale per i dati propri
- llama2
- Abbiamo testato i LLM quantizzati: risultati su costi e prestazioni | Latitude
- Abbiamo eseguito oltre mezzo milione di valutazioni sui LLM quantizzati—ecco cosa abbiamo scoperto | Red Hat Developer
- Migliori modelli Ollama 2026: 25+ classificati per VRAM e SWE-Bench (ottobre 2026) | Morph
- Retrieval Augmented Generation (RAG): chat con i propri dati
- Retrieval Augmented Generation (RAG) per LLM | Guida al prompt engineering
Domande frequenti sulla quantizzazione di modelli IA locali
Cosa significa quantizzazione in un modello linguistico IA?
La quantizzazione è una procedura in cui la precisione numerica dei pesi di un modello linguistico di IA viene ridotta. Mentre i modelli non quantizzati operano spesso con numeri a virgola mobile a 16 bit o 32 bit, le varianti quantizzate utilizzano, ad esempio, solo 8, 4 o addirittura 2 bit per peso. Ciò riduce notevolmente lo spazio di memoria necessario, senza che sia necessario riaddestrare il modello da capo. Il vantaggio principale è che anche i modelli linguistici più grandi possono essere eseguiti su computer con memoria limitata. Per esempio, un modello che originariamente richiedeva circa 60 GB di memoria per i suoi pesi può, grazie alla quantizzazione a 4 bit, essere ridotto a circa 15‑20 GB. La dimensione effettiva dipende dal metodo di quantizzazione utilizzato. Tuttavia, la conversione comporta una perdita di informazioni, perciò la qualità della risposta può variare notevolmente a seconda del modello e del caso d'uso.
Qual è la differenza tra Q2, Q4, Q8 e FP16?
Le denominazioni Q2, Q4, Q8 e FP16 descrivono diversi livelli di precisione nella memorizzazione dei pesi del modello. FP16 utilizza numeri in virgola mobile a 16 bit e offre un'alta precisione numerica, ma richiede tuttavia molta memoria di lavoro. Q8 riduce i pesi a circa 8 bit e spesso raggiunge una qualità della risposta quasi invariata con un fabbisogno di memoria significativamente inferiore. Q4 utilizza prevalentemente 4 bit per peso e rappresenta quindi un compromesso particolarmente interessante per molte applicazioni locali. Il consumo di memoria scende notevolmente, mentre la qualità rimane su un livello elevato per molti modelli. Q2 comprime ancora di più, ma può causare perdite di qualità decisamente maggiori. È importante notare che queste denominazioni descrivono solo la precisione di base. Varianti di quantizzazione come Q4_K_M utilizzano metodi aggiuntivi per preservare il meglio possibile la precisione dei pesi del modello particolarmente importanti.
Quanta memoria di lavoro si può effettivamente risparmiare con la quantizzazione?
Il risparmio di memoria possibile dipende dalla precisione originale, dalla dimensione del modello e dal metodo di quantizzazione scelto. Rispetto a FP16, una rappresentazione pura a 8 bit richiede circa la metà della memoria per i pesi del modello. Con 4 bit, questo fabbisogno teorico scende a circa un quarto. Nella pratica, i modelli risultano leggermente più grandi perché devono essere memorizzate informazioni aggiuntive per la quantizzazione. Un modello linguistico con 30 miliardi di parametri richiede in FP16 circa 60 GB solo per i suoi pesi. Una variante a 8 bit richiede circa 30 GB, mentre una versione a 4 bit si attesta spesso tra circa 18 e 20 GB. Questi valori non descrivono però l'intero fabbisogno di memoria di lavoro durante l'utilizzo. Inoltre, devono essere considerati, tra le altre cose, la memoria di contesto, i calcoli temporanei e il sistema operativo. Pertanto, nella scelta di un modello, dovrebbe essere sempre pianificato un margine di memoria sufficiente.
Quanto degrada la qualità della risposta di un modello linguistico la quantizzazione Q4?
In molti modelli linguistici moderni, una quantizzazione di alta qualità a 4 bit causa solo perdite di qualità relativamente scarse. In particolare per compiti quotidiani come riassunti di testi, traduzioni, semplici compiti di programmazione o domande di cultura generale, le differenze rispetto alle varianti a maggiore precisione sono spesso quasi impercettibili. Tuttavia, la qualità effettiva dipende fortemente dal rispettivo modello e dal compito. Per calcoli matematici complessi, compiti di programmazione impegnativi o ragionamenti logici a più fasi, piccole discrepanze numeriche possono avere impatti maggiori. Anche il metodo di quantizzazione scelto gioca un ruolo. Procedure come Q4_K_M cercano di mantenere con maggiore precisione le aree del modello particolarmente sensibili. Per molti utenti, Q4 è quindi un punto di partenza sensato. Chi necessita di risultati particolarmente affidabili dovrebbe testare lo stesso modello anche in Q8 e confrontare le risposte su compiti tipici.
Quando vale la pena usare Q8 o FP16 invece di una versione Q4 più piccola?
Una precisione più elevata può essere sensata soprattutto quando un modello linguistico deve svolgere compiti impegnativi e la memoria di lavoro sufficiente è disponibile. Questi includono, ad esempio, lo sviluppo software complesso, le valutazioni scientifiche, i calcoli matematici o le analisi approfondite con molteplici passaggi di pensiero consecutivi. Q8 offre spesso una buona via di mezzo. I pesi del modello richiedono circa il doppio della memoria rispetto a una quantizzazione comparabile a 4 bit, mentre la qualità è solitamente molto vicina alla versione originale a precisione più elevata. FP16 viene preso in considerazione soprattutto quando è necessaria la massima precisione numerica e l'hardware può gestire la significativa richiesta di memoria. Tuttavia, nemmeno FP16 garantisce risposte prive di errori. Per molte applicazioni pratiche, un modello più potente in Q4 potrebbe essere una scelta migliore rispetto a un modello significativamente più piccolo in FP16.
Perché i modelli IA quantizzati a 2 bit possono essere problematici?
In una quantizzazione a 2 bit, sono disponibili significativamente meno livelli per la rappresentazione dei pesi del modello rispetto a 4 o 8 bit. Ciò consente di comprimere fortemente i modelli linguistici, ma possono andare perse informazioni importanti sulle relazioni all'interno della rete neurale. Queste perdite non si manifestano necessariamente con domande semplici. Le difficoltà emergono spesso solo con compiti più complessi che richiedono calcoli precisi, lunghi processi di pensiero o l'elaborazione affidabile di informazioni estese. Le risposte possono quindi diventare meno accurate, contraddittorie o meno stabili. È particolarmente problematico il fatto che tali perdite di qualità non siano sempre evidenti. Un modello può continuare a formulare risposte convincenti, sebbene i suoi risultati contengano errori fattuali. Q2 è quindi adatto principalmente per applicazioni sperimentali o situazioni con memoria molto limitata. Per sistemi di produzione impegnativi, Q4 e Q8 sono solitamente la base di partenza più affidabile.
Quali sono le differenze tra GGUF, MLX e Safetensors?
GGUF, MLX e Safetensors vengono spesso menzionati in relazione ai modelli IA locali, ma svolgono compiti diversi. GGUF è un formato di modello particolarmente diffuso nell'ambiente di llama.cpp, Ollama e LM Studio. Supporta diversi metodi di quantizzazione e consente l'esecuzione di modelli linguistici su diverse piattaforme hardware. MLX, invece, è un framework di machine learning sviluppato da Apple, progettato specificamente per l'architettura di Apple Silicon. Con MLX, i modelli linguistici possono essere eseguiti in modo efficiente su Mac con processori M. Per questo sono disponibili anche varianti di modelli specificamente quantizzati. Safetensors è un formato di file sicuro per la memorizzazione dei pesi numerici del modello. Viene spesso utilizzato nell'ambiente di Hugging Face e PyTorch. La scelta del formato dipende quindi dall'ambiente di runtime utilizzato. Sui Mac con Apple Silicon, possono essere sensati sia i modelli GGUF che quelli MLX, sebbene la loro velocità vari a seconda del modello e dell'implementazione.
I modelli IA quantizzati diventano automaticamente più veloci?
Non necessariamente. La quantizzazione riduce inizialmente il fabbisogno di memoria di un modello. Ciò significa che, durante l'elaborazione, spesso devono essere letti meno dati dalla memoria di lavoro, il che può portare a vantaggi significativi, specialmente nei calcoli dipendenti dalla larghezza di banda della memoria. Sui Mac con Apple Silicon, questo effetto è particolarmente interessante perché la CPU e la GPU accedono a un pool di memoria condiviso. I pesi del modello più piccoli possono essere trasferiti e processati in modo più efficiente. Pertanto, i modelli quantizzati raggiungono in molti casi una maggiore velocità nella generazione di testo. Tuttavia, l'elaborazione dei pesi quantizzati richiede talvolta operazioni di calcolo aggiuntive per ripristinare valori numerici adeguati. Quale variante sia effettivamente più veloce dipende quindi dall'hardware, dal software utilizzato e dal metodo di quantizzazione specifico. Oltre alla pura velocità in token per secondo, va considerata anche il tempo fino alla prima risposta. Soprattutto nelle applicazioni interattive, un tempo di reazione rapido può essere più importante della massima velocità di generazione.
Quale livello di quantizzazione è adatto per Mac con 16 GB, 32 GB, 64 GB o 128 GB di memoria di lavoro?
La quantizzazione adatta dipende sia dalla capacità di memoria disponibile sia dalle dimensioni del modello linguistico desiderato. Sui Mac con 16 GB di Unified Memory sono adatti soprattutto modelli più piccoli con pochi miliardi di parametri. Grazie alla quantizzazione Q4, anche alcuni modelli più grandi possono diventare utilizzabili, purché resti memoria sufficiente per il sistema operativo e il contesto. Con 32 GB di memoria di lavoro si possono gestire comodamente numerosi modelli della classe 7B-14B. Sono possibili anche modelli più grandi e fortemente quantizzati. Con 64 GB sono già disponibili molte più possibilità per modelli con 30 miliardi di parametri o finestre di contesto più ampie. I Mac con 128 GB di Unified Memory offrono inoltre margine per modelli particolarmente grandi, livelli di precisione più elevati e il funzionamento parallelo di più componenti IA. Decisiva resta la dimensione effettiva del modello. Numero di parametri, quantizzazione, lunghezza del contesto e architettura del modello devono sempre essere considerati insieme.
Cosa succede se un modello IA richiede più memoria di lavoro di quella che il Mac può fornire?
Quando un modello linguistico richiede troppa memoria di lavoro, macOS può tentare di spostare parte dei dati sulla SSD. Questo cosiddetto swapping impedisce in determinate circostanze un'interruzione immediata del programma, ma nelle applicazioni IA ad alto consumo di memoria causa spesso notevoli perdite di prestazioni. Il motivo è che anche le SSD veloci raggiungono una velocità di trasferimento dei dati nettamente inferiore rispetto alla memoria di lavoro interna. Se durante la generazione del testo è necessario passare continuamente tra SSD e RAM, la velocità di risposta può diminuire drasticamente. Inoltre, macOS non mette a disposizione delle applicazioni IA l'intera Unified Memory senza restrizioni. Sistema operativo, interfaccia grafica e altri programmi richiedono anch'essi memoria. Chi vuole evitare tali problemi dovrebbe prima chiudere le applicazioni non necessarie, ridurre la lunghezza del contesto o usare una variante del modello più fortemente quantizzata. Soprattutto con modelli linguistici più grandi, una riserva di memoria sufficiente è decisiva per un funzionamento stabile e fluido.
11. Quale ruolo gioca la quantizzazione nei sistemi RAG e nell'elaborazione di documenti propri?
Nella Retrieval-Augmented Generation (RAG), i modelli linguistici vengono combinati con una fonte di conoscenza esterna. I documenti vengono prima suddivisi in sezioni più piccole e poi trasformati in vettori numerici tramite un modello di embedding. Un database vettoriale consente successivamente la ricerca di sezioni di documento pertinenti per contenuto. La quantizzazione può essere impiegata in punti diversi. Il modello linguistico generativo, ad esempio, può essere eseguito in Q4 per risparmiare memoria di lavoro. Per il modello di embedding e per la memorizzazione dei vettori, invece, bisogna fare particolare attenzione a preservare la qualità della ricerca per similarità. Una compressione troppo aggressiva può fare sì che le sezioni di documento rilevanti vengano trovate peggio. Anche un modello linguistico potente potrebbe quindi non ricevere le informazioni necessarie per una risposta corretta. Per questo, nei sistemi RAG, la qualità della ricerca nei documenti e la qualità delle risposte del modello linguistico dovrebbero essere verificate separatamente.
12. Come trovo la quantizzazione ottimale per il mio sistema IA locale?
La quantizzazione migliore non può essere determinata solo in base alle dimensioni del modello o a una tabella di benchmark. Decisivo è quali compiti il modello linguistico debba svolgere nel funzionamento pratico e quale hardware sia disponibile. Un approccio sensato consiste nell'installare inizialmente una variante Q4 di alta qualità del modello desiderato. Successivamente dovrebbero essere eseguiti compiti tipici, ad esempio riassunti di testo, compiti di programmazione, traduzioni o l'analisi di documenti propri. In questo caso è consigliabile osservare qualità delle risposte, velocità, consumo di memoria e affidabilità. Se è disponibile memoria sufficiente, lo stesso modello può essere testato anche in Q8. I risultati possono poi essere confrontati direttamente. È importante usare condizioni di test il più possibile identiche per entrambe le varianti. Solo così le differenze diventano effettivamente riconoscibili. Alla fine non è decisiva la precisione più elevata, ma la combinazione di qualità sufficiente, buona velocità ed esecuzione stabile sull'hardware disponibile.
