MLX su Apple Silicon come AI locale rispetto a Ollama & Co.

In un momento in cui i servizi di IA centralizzati come ChatGPT, Claude o Gemini dominano le prime pagine dei giornali, molti utenti professionali hanno sempre più bisogno di un'alternativa: un'infrastruttura di IA locale e autocontrollabile. Soprattutto per i processi creativi, i dati sensibili o i flussi di lavoro ricorrenti, una soluzione locale è spesso l'opzione più sostenibile e sicura.

Chiunque lavori con un Mac, in particolare con Apple Silicon (M1, M2, M3 o M4), può ora trovare strumenti incredibilmente potenti per eseguire i propri modelli linguistici direttamente sul dispositivo. Al centro di tutto questo c'è un nuovo componente, in gran parte sconosciuto: MLX, un framework di apprendimento automatico sviluppato da Apple che probabilmente avrà un ruolo sempre più centrale nell'ecosistema AI dell'azienda nei prossimi anni.

Cos'è MLX e cosa rappresenta il nuovo formato?

MLX è un framework open source di Apple per l'apprendimento automatico, appositamente adattato all'architettura hardware di Apple Silicon. A differenza di altri backend per l'IA come PyTorch o TensorFlow, MLX utilizza direttamente i vantaggi della cosiddetta "memoria unificata" dell'Apple, ovvero l'accesso condiviso di CPU e GPU alla stessa area RAM. Questo garantisce un'elaborazione molto più efficiente dei dati e dei modelli, soprattutto per i modelli linguistici di grandi dimensioni, che possono comprendere diversi gigabyte.

Il formato MLX associato descrive tipicamente modelli i cui pesi sono memorizzati in un formato di file compresso .npz (NumPy Zip). Modelli come Mistral, Phi-2 o LLaMA 3 possono essere convertiti in questo formato utilizzando gli strumenti appropriati ed eseguiti direttamente su Mac - senza cloud, senza API, senza restrizioni.

La situazione attuale: cosa offre già l'Apple

Con l'annuncio di Apple Intelligence Nel 2024, l'Apple ha iniziato a integrare le funzioni AI a livello di sistema direttamente nel sistema operativo. Assistenti di scrittura, elaborazione delle immagini, ricerca semantica, funzioni di posta elettronica intelligenti: molte di queste funzioni vengono eseguite completamente in locale, soprattutto sui dispositivi con un chip M1 o più recente. Tuttavia, nessuna delle nuove funzioni è disponibile sui Mac Intel più vecchi.

Allo stesso tempo, Apple ha sviluppato ulteriormente il framework MLX e lo ha pubblicato con una licenza aperta. In combinazione con strumenti come mlx-lm o la nuova API MLX Swift, è già possibile eseguire modelli di testo in locale, impostare i propri flussi di lavoro o addestrare i modelli, direttamente sul proprio Mac, senza che i dati lascino il dispositivo.

In particolare, gli utenti professionali, ad esempio quelli dei settori dello sviluppo software, dell'editoria, del marketing o della ricerca, possono trarre grandi vantaggi da questo, poiché MLX offre loro opportunità completamente nuove per integrare i modelli di intelligenza artificiale nei loro flussi di lavoro senza dover ricorrere a fornitori esterni.

Come funziona MLX in pratica

Se volete usare MLX oggi, tutto ciò che vi serve è un terminale, Python (idealmente in un ambiente virtuale separato) e il pacchetto mlx-lm, che raggruppa tutte le funzioni necessarie: download del modello, quantizzazione, inferenza e chat. Dopo l'installazione, è possibile avviare i modelli già pronti della comunità Hugging Face, ad esempio:

mlx_lm.chat --model mlx-community/Mistral-7B-Instruct-v0.3-4bit

In alternativa, è possibile accedere all'API utilizzando uno script Python. I modelli vengono automaticamente caricati, memorizzati nella cache ed eseguiti in locale, senza bisogno di una connessione a Internet dopo il download iniziale.

È anche facile convertire i propri modelli. Con un solo comando, è possibile scaricare i modelli da Hugging Face Hub, quantizzarli e renderli disponibili per MLX:

python -m mlx_lm.convert --hf-path meta-llama/Llama-3-8B-Instruct -q

I file .npz risultanti possono essere salvati in modo permanente in locale e riutilizzati.

Il confronto: MLX vs. Ollama, Llama.cpp e LM Studio

Oltre a MLX, esistono diverse alternative consolidate per l'utilizzo dell'IA locale su Mac, soprattutto Ollama, Llama.cpp e LM Studio. Ognuno di questi strumenti ha i suoi punti di forza, ma anche limiti specifici.

Ollama

Ollama è particolarmente apprezzato dagli sviluppatori perché offre una semplice linea di comando e un'API REST. I modelli sono disponibili in formato GGUF, un formato di file ottimizzato per una rapida esecuzione su macchine locali. Ollama è veloce da configurare, flessibile e supporta un'ampia gamma di modelli. Tuttavia, attualmente Ollama non funziona su Mac con il motore MLX, ma utilizza principalmente un backend basato su metallo tramite llama.cpp.

Per i flussi di lavoro che richiedono l'automazione o il funzionamento senza testa (ad esempio, processi in esecuzione in background), la Ollama è attualmente la prima scelta. Tuttavia, se si desidera utilizzare le ottimizzazioni proprie della Apple, è necessario attendere le future integrazioni di MLX.

Llama.cpp

Questo progetto costituisce la base per molti altri strumenti (tra cui Ollama) e offre un motore di inferenza ad alte prestazioni per modelli GGUF. È estremamente flessibile, ma non sempre facile da usare o da far funzionare, soprattutto per i principianti. Il grande vantaggio: esiste un'enorme comunità, molte estensioni e uno sviluppo stabile.

Studio LM

Chiunque sia alla ricerca di un'interfaccia utente grafica, di solito si rivolge a LM Studio. Lo strumento combina il download, l'amministrazione e l'esecuzione dei modelli linguistici in un'applicazione snella e nativa di Mac, che include un'interfaccia di chat, la configurazione e la gestione dei modelli. Il punto forte: da qualche mese LM Studio supporta anche il motore MLX, consentendo di sfruttare appieno le ottimizzazioni di Apple su un Mac M1 o M2, con un consumo di RAM notevolmente inferiore rispetto a strumenti analoghi.

LM Studio è il punto d'ingresso ideale nel mondo dell'intelligenza artificiale locale, soprattutto per gli utenti che non vogliono scomodare i comandi da terminale, e in combinazione con MLX, è un vero e proprio strumento di alto livello.

Quando MLX su Silicon è la scelta migliore

Mentre le soluzioni basate su GGUF (Ollama, Llama.cpp) sono molto flessibili e funzionano su molte piattaforme, MLX si distingue per la sua profonda integrazione nel mondo Apple. Particolarmente degni di nota sono:

  • Utilizzo efficiente della memoria grazie alla memoria unificata
  • Ottimizzazione per Metal/GPU senza configurazione complessa
  • Integrazione perfetta nei progetti Swift e nei framework Apple
  • A prova di futuro, poiché l'Apple sta sviluppando attivamente il quadro di riferimento.
  • Espandibilità, ad esempio attraverso modelli personalizzati, messa a punto e integrazione di sistemi.

Per gli utenti Mac che vogliono pianificare a lungo termine e mantenere il pieno controllo sui propri dati, MLX è già un promettente ingresso nel mondo dell'intelligenza artificiale locale, con il potenziale per diventare lo standard in futuro.

Una prospettiva: Dove vuole arrivare l'Apple con MLX e Apple Intelligence

Con la WWDC 2025, Apple ha chiaramente segnalato che MLX non è un espediente, ma un componente strategico nel crescente ecosistema Apple intorno all'IA. L'integrazione dei nuovi "Foundation Models" direttamente in macOS e iOS, il supporto nativo di Swift e l'ulteriore sviluppo di MLX in direzione dell'addestramento, della quantizzazione e dell'inferenza dimostrano chiaramente che Apple vuole essere coinvolta, ma a modo suo.

L'Apple rimane fedele alla sua linea: nessuna promessa spettacolare, ma una tecnologia solida e funzionante a livello locale che si dimostra valida a lungo termine. Per gli utenti professionali, questo non è solo attraente, ma anche strategicamente molto interessante.

MLX è sulla buona strada per diventare la soluzione standard per l'intelligenza artificiale locale su Mac. Coloro che già oggi lavorano con MLX hanno un vantaggio prezioso, sia per le applicazioni creative che per quelle tecniche o analitiche. In combinazione con strumenti come mlx-lm, LM Studio o la nuova API Swift, è possibile creare un ambiente AI robusto, affidabile e a prova di futuro, in linea con il modo di lavorare controllato e sovrano dei dati che diventerà sempre più importante in futuro.

Utilizzo di MLX su Mac: semplici istruzioni per i principianti

Con MLX, Apple ha creato un nuovo sistema che consente di utilizzare l'intelligenza artificiale (AI) direttamente sul proprio Mac, senza connessione a Internet, senza cloud, senza dipendere da Google o OpenAI. Il bello è che se avete un Mac con processore M1, M2, M3 o M4 (cioè Apple Silicon), potete provare MLX in pochi passi. Tutto viene eseguito localmente: i testi, le domande e i dati non lasciano mai il computer.

Qui spiego passo per passo come scaricare e utilizzare un cosiddetto modello linguistico con MLX. Sembra tecnico, ma vedrete che è facile da fare.

Fase 1: Verifica dei requisiti

Per prima cosa è necessario:

  • Un Mac Apple Silicon (M1 o più recente). È possibile trovarlo nelle impostazioni di sistema alla voce "Informazioni su questo Mac".
  • macOS 13 (Ventura) o più recente.
  • Una connessione Internet funzionante: solo per scaricare il modello, dopodiché tutto funziona offline.
  • Spazio di archiviazione, almeno 8-10 GB circa per un modello piccolo.

È inoltre necessario il programma "Terminale", già installato su ogni Mac. Lo usiamo per inserire alcuni comandi. Potete trovarlo sul vostro Mac sotto "Applicazioni/Utility" o semplicemente digitare e poi "Terminal" e confermare con "Invio". Non preoccupatevi: è sufficiente copiare e incollare.

Fase 2: animali Python 1TP12 (solo se necessario)

MLX funziona con il linguaggio di programmazione Python. Molti Mac dispongono già di Python installiert. È possibile verificare se è disponibile inserendo il seguente comando nel terminale:

python3 --version

Se si ottiene un numero di versione (ad esempio, Python 3.10.6), si può continuare direttamente.

In caso contrario, vi consiglio di utilizzare Homebrew to installieren (uno strumento molto diffuso per i programmi su Mac). Per farlo, digitate nel terminale:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Poi installier con il pitone:

brew install python

Fase 3: Strumento MLX 1TP12Animal

Ora scarichiamo lo strumento MLX con il quale è possibile utilizzare successivamente il modello linguistico. Per fare ciò, installier un piccolo programma chiamato mlx-lm. Inserirlo nel terminale:

pip3 install mlx-lm

L'operazione richiederà alcuni secondi. Al termine, si è pronti a caricare un modello.

Passo 4: scaricare e avviare un modello

Ora arriva la parte più eccitante: si ottiene un vero modello linguistico sul Mac, ad esempio una versione di Mistral, un modello di intelligenza artificiale molto potente e disponibile gratuitamente. È sufficiente inserirlo nel terminale:

mlx_lm.chat --model mlx-community/Mistral-7B-Instruct-v0.3-4bit

Questo comando esegue tre operazioni:

  • Il modello viene scaricato automaticamente (una tantum).
  • È stato preparato e avviato.
  • Si finisce in una finestra di chat nel terminale, dove si possono porre domande - simile a ChatGPT.

Al termine del download (che può richiedere alcuni minuti a seconda della velocità di Internet), si vedrà un cursore lampeggiante. A questo punto è possibile scrivere, ad esempio:

Mi parli della storia di Venezia.

...e il modello risponde direttamente, completamente offline.

Fase 5: continuare a lavorare con il modello

Al termine, è possibile terminare la chat digitando exit o chiudendo la finestra. In seguito, è possibile riutilizzare lo stesso modello senza scaricarlo di nuovo, semplicemente digitando di nuovo lo stesso comando. Il modello è ora memorizzato localmente sul Mac e vi rimane.
Se desiderate provare diversi modelli, potete farlo tramite Viso abbracciato oppure cambiare il nome del modello direttamente nella riga del terminale, ad esempio

mlx_lm.chat --model mlx-community/Phi-2-4bit

Ogni modello ha uno stile diverso: alcuni sono fattuali, altri sono più creativi o orientati al dialogo.

Ancora più semplice? Utilizzare LM Studio come interfaccia

Se preferite lavorare con un mouse e una finestra, potete anche provare il programma LM Studio. Ha una bella interfaccia, supporta MLX (su Apple Silicon) e consente di scaricare e utilizzare i modelli con un clic.

Potete trovare LM Studio qui:

👉 https://lmstudio.ai/

Dopo l'installazione, è possibile selezionare "MLX" come motore nelle impostazioni: il programma utilizza quindi la stessa tecnologia di cui sopra, ma in una finestra graziosa con un campo di chat.

Ce l'avete fatta: ora state utilizzando una moderna IA completamente in locale sul vostro Mac, senza alcun cloud o abbonamento. Apple MLX consente di utilizzare i modelli linguistici in modo efficiente, sicuro e con la massima protezione dei dati.

Se in seguito volete andare ancora più a fondo - ad esempio addestrare i vostri modelli, migliorarli con i vostri testi o integrarli nel vostro software (come FileMaker) - allora MLX è la scelta giusta per voi. Ma il primo passo è fatto: avete di nuovo il controllo e una potente intelligenza artificiale direttamente sul vostro computer.


Domande frequenti

  1. Che cos'è esattamente MLX e come si differenzia da PyTorch o TensorFlow?
    MLX è un framework per l'apprendimento automatico sviluppato da Apple e ottimizzato appositamente per Apple Silicon (M1-M4). A differenza di PyTorch o TensorFlow, che si rivolgono a molte piattaforme, MLX utilizza specificamente l'architettura dei chip Apple, ad esempio la struttura di memoria comune (memoria unificata) e l'accelerazione GPU in metallo. Di conseguenza, funziona in modo più efficiente dal punto di vista della memoria e più veloce sui Mac, ma solo su hardware Apple.
  2. Perché scegliere MLX rispetto a uno strumento come Ollama o Llama.cpp?
    MLX è un vantaggio se si lavora specificamente su Apple Silicon e si vogliono ottenere le massime prestazioni dal dispositivo. Ollama e Llama.cpp sono molto flessibili, ma spesso vengono eseguiti in modo meno efficiente sul Mac. MLX può anche essere integrato direttamente nei progetti Swift, ideale per gli sviluppatori che realizzano applicazioni vicine all'Apple. Non è un concorrente dell'Ollama, ma uno strumento specializzato per i professionisti.
  3. Quali modelli sono compatibili con MLX?
    Sono compatibili molti modelli linguistici aperti, come Mistral, LLaMA 2 e 3, Phi-2 o TinyLLaMA, che sono già convertiti o possono essere convertiti con lo strumento mlx-lm.convert. È importante che siano disponibili in formato NumPy-ZIP (.npz) e che siano preparati per MLX. Per i modelli compatibili con MLX esiste ora una sezione separata su Hugging Face.
  4. Quanto è facile iniziare? Devo essere uno sviluppatore?
    È utile un po' di comprensione tecnica, ad esempio per il terminale, gli ambienti Python o i nomi dei modelli. Ma iniziare è relativamente facile grazie a mlx-lm: un comando di installazione, un comando di avvio e il gioco è fatto. Se si preferisce lavorare con un'interfaccia utente, si può usare LM Studio, che ora supporta MLX anche su Mac.
  5. Posso addestrare MLX anche per i miei progetti, ad esempio con i miei testi?
    Sì, è possibile, ma l'addestramento è attualmente destinato più agli utenti avanzati. La maggior parte degli utenti utilizza i modelli MLX per l'inferenza (cioè per le risposte, la generazione di testi, ecc.). Per l'addestramento o la messa a punto, è necessario avere familiarità con LoRA, i formati dei dati (JSONL) e i requisiti di memoria, oppure utilizzare strumenti come FileMaker 2025, che semplificano questo processo.
  6. Che ne è della sicurezza e della protezione dei dati in MLX?
    Molto bene, perché MLX funziona completamente a livello locale. Tutti i dati, gli input e le risposte del modello rimangono sul vostro computer. Non c'è trasferimento su cloud, né API esterna: l'ideale per progetti sensibili ai dati, documenti interni, dati protetti dei clienti o note riservate.
  7. Che ruolo ha l'Apple in tutto questo? MLX sarà ulteriormente sviluppato?
    Apple ha pubblicato MLX con una licenza aperta e lo sta sviluppando attivamente, soprattutto in connessione con Apple Intelligence, il sistema di intelligenza artificiale per macOS, iOS e iPadOS. Alla WWDC 2025, MLX è stato presentato come framework ufficiale per l'integrazione di modelli linguistici personalizzati nel software Apple. Si può presumere che MLX continuerà ad acquisire importanza nel mondo Apple.
  8. È possibile combinare MLX con altri strumenti, ad esempio Neo4j, n8n o FileMaker?
    Sì, MLX è un framework ML puro, ma può essere collegato ad altri strumenti tramite API REST, servizi Python personalizzati o wrapper locali. Ad esempio, è possibile integrarlo nella propria automazione (n8n), in un database semantico (Neo4j) o in soluzioni FileMaker - quest'ultimo è ora disponibile anche in modo nativo con FileMaker 2025.

Immagine (c) Monoar_CGI_Artist @ pixabay

Lascia un commento