Mistral

Articoli sui modelli Mistral AI. Questa sezione si occupa di nozioni tecniche di base, benchmark, confronti con altri LLM e scenari applicativi pratici.

L'IA in cloud come preside: perché il futuro del lavoro è nell'IA locale

da
L'intelligenza artificiale del cloud diventa il capo insegnante

Quando qualche anno fa i grandi modelli linguistici hanno iniziato la loro marcia trionfale, sembravano quasi un ritorno alle vecchie virtù della tecnologia: uno strumento che fa quello che gli viene detto. Uno strumento che serve l'utente, non il contrario. Le prime versioni, da GPT-3 a GPT-4, avevano sì dei punti deboli, ma erano incredibilmente utili. Spiegavano, analizzavano, formulavano e risolvevano i compiti. E lo facevano in gran parte senza zavorre pedagogiche.

Si parlava con questi modelli come se si stesse parlando con un impiegato erudito, che a volte sbagliava le parole, ma che essenzialmente lavorava e basta. Chiunque abbia scritto testi creativi, generato codici di programma o prodotto analisi più lunghe all'epoca ha sperimentato quanto tutto ciò funzionasse senza problemi. C'era una sensazione di libertà, di spazio creativo aperto, di tecnologia che supportava le persone invece di correggerle.

Leggi tutto

Apple MLX vs. NVIDIA: come funziona l'inferenza AI locale sul Mac

da
AI locale su Silicon con Apple Mac

Chi si occupa di intelligenza artificiale oggi pensa spesso a ChatGPT o a servizi online simili. Si digita una domanda, si attende qualche secondo e si riceve una risposta come se all'altro capo del filo ci fosse un interlocutore molto colto e paziente. Ma ciò che è facilmente dimenticabile: Ogni input, ogni frase, ogni parola viene inviata a server esterni via Internet. È lì che si svolge il lavoro vero e proprio, su enormi computer che non si vedono mai di persona.

In linea di principio, un modello linguistico locale funziona esattamente nello stesso modo, ma senza Internet. Il modello è memorizzato come file sul computer dell'utente, viene caricato nella memoria di lavoro all'avvio e risponde alle domande direttamente sul dispositivo. La tecnologia alla base è la stessa: una rete neurale che comprende il linguaggio, genera testi e riconosce modelli. L'unica differenza è che l'intero calcolo rimane interno all'azienda. Si potrebbe dire: ChatGPT senza cloud.

Leggi tutto

Intelligenza artificiale: quali sono i posti di lavoro a rischio e come possiamo armarci ora

da
Quali lavori saranno eliminati dall'IA in futuro

Quasi nessun altro cambiamento tecnologico si è insinuato nella nostra vita quotidiana con la stessa rapidità dell'intelligenza artificiale. Quella che ieri era considerata una tecnologia visionaria del futuro, oggi è già una realtà, che si tratti di messaggiare, programmare, diagnosticare, tradurre o persino creare musica, arte o documenti legali.

Leggi tutto

MLX su Apple Silicon come AI locale rispetto a Ollama & Co.

da
IA locale su Mac con MLX

In un momento in cui i servizi di IA centralizzati come ChatGPT, Claude o Gemini dominano le prime pagine dei giornali, molti utenti professionali hanno sempre più bisogno di un'alternativa: un'infrastruttura di IA locale e autocontrollabile. Soprattutto per i processi creativi, i dati sensibili o i flussi di lavoro ricorrenti, una soluzione locale è spesso l'opzione più sostenibile e sicura.

Chiunque lavori con un Mac, in particolare con Apple Silicon (M1, M2, M3 o M4), può ora trovare strumenti incredibilmente potenti per eseguire i propri modelli linguistici direttamente sul dispositivo. Al centro di tutto questo c'è un nuovo componente, in gran parte sconosciuto: MLX, un framework di apprendimento automatico sviluppato da Apple che probabilmente avrà un ruolo sempre più centrale nell'ecosistema AI dell'azienda nei prossimi anni.

Leggi tutto

RAG con Ollama e Qdrant come motore di ricerca universale per i dati propri

da
Estendere l'IA locale con i database utilizzando RAG, Ollama e Qdrant

In un mondo di informazioni sempre più confuso, diventa sempre più importante rendere i propri database ricercabili in modo mirato, non attraverso le classiche ricerche full-text, ma attraverso risposte semanticamente rilevanti. È proprio qui che entra in gioco il principio del database RAG, una soluzione di ricerca supportata dall'intelligenza artificiale e composta da due componenti centrali:

Leggi tutto

Ollama incontra Qdrant: una memoria locale per la vostra AI su Mac

da
Memoria per AI locale con Ollama e Qdrant

IA locale con memoria - senza cloud, senza abbonamento, senza distrazioni

In un articoli precedenti Ho spiegato come configurare l'Ollama sul Mac install. Se avete già completato questo passaggio, ora disponete di un potente modello di lingua locale, come Mistral, LLaMA3 o un altro modello compatibile che può essere indirizzato tramite API REST.

Tuttavia, il modello "sa" solo cosa c'è nel prompt corrente. Non ricorda le conversazioni precedenti. Ciò che manca è la memoria.

Leggi tutto

IA locale su Mac: come installiere un modello linguistico con Ollama

da

L'intelligenza artificiale locale su Mac è da tempo pratica, soprattutto sui computer Apple-Silicon (serie M). Con Ollama si ottiene un ambiente di runtime snello per molti modelli linguistici open source (ad esempio Llama 3.1/3.2, Mistral, Gemma, Qwen). L'attuale versione Ollama è dotata di un'applicazione di facile utilizzo che consente di configurare un modello linguistico locale sul Mac con un semplice clic del mouse. In questo articolo troverete una guida pragmatica dall'installazione al primo prompt, con consigli pratici su dove tradizionalmente le cose tendono ad andare storte.

Leggi tutto

↑