Kaum ein technologischer Wandel hat sich so schnell in unseren Alltag eingeschlichen wie die künstliche Intelligenz. Was gestern noch als visionäre Zukunftstechnologie galt, ist heute bereits Realität – ob beim Texten, Programmieren, Diagnostizieren, Übersetzen oder sogar beim Erstellen von Musik, Kunst oder juristischen Schriftsätzen.
LLM
Beiträge über Large Language Models (LLM) wie GPT, Mistral oder Mixtral. Sie zeigen Anwendungsfälle, technische Grundlagen und praxisnahe Tipps für den Einsatz im Business.
MLX auf Apple Silicon als lokale KI im Vergleich mit Ollama & Co.
In einer Zeit, in der zentrale KI-Dienste wie ChatGPT, Claude oder Gemini die Schlagzeilen beherrschen, wächst bei vielen professionellen Anwendern das Bedürfnis nach einem Gegenpol – einer lokalen, selbst kontrollierbaren KI-Infrastruktur. Gerade für kreative Prozesse, sensible Daten oder wiederkehrende Arbeitsabläufe ist eine lokale Lösung oft die nachhaltigere und sicherere Option.
Wer mit einem Mac arbeitet – insbesondere mit Apple Silicon (M1, M2, M3 oder M4) – findet mittlerweile erstaunlich leistungsfähige Tools, um eigene Sprachmodelle direkt auf dem Gerät zu betreiben. Im Zentrum steht dabei eine neue, weitgehend unbekannte Komponente: MLX, ein von Apple entwickeltes Machine-Learning-Framework, das in den kommenden Jahren eine zunehmend zentrale Rolle im KI-Ökosystem des Unternehmens spielen dürfte.
RAG mit Ollama und Qdrant als universelle Suchmaschine für eigene Daten
In einer zunehmend unübersichtlichen Informationswelt wird es immer wichtiger, eigene Datenbestände gezielt durchsuchbar zu machen – nicht über klassische Volltextsuche, sondern durch semantisch relevante Antworten. Genau hier kommt das Prinzip der RAG-Datenbank ins Spiel – also einer KI-gestützten Suchlösung, die sich aus zwei zentralen Komponenten zusammensetzt:
Ollama trifft Qdrant: Ein lokales Gedächtnis für Deine KI auf dem Mac
Lokale KI mit Erinnerungsvermögen – ohne Cloud, ohne Abo, ohne Umweg
In einem früheren Artikel habe ich erklärt, wie man Ollama auf dem Mac installiert. Wer diesen Schritt bereits hinter sich hat, verfügt nun über ein leistungsfähiges lokales Sprachmodell – etwa Mistral, LLaMA3 oder ein anderes kompatibles Modell, das per REST-API ansprechbar ist.
Doch von allein „weiß“ das Modell nur das, was im aktuellen Prompt steht. Es erinnert sich nicht an frühere Konversationen. Was fehlt, ist ein Gedächtnis.
Lokale KI auf dem Mac: So installieren Sie ein Sprachmodell mit Ollama
Lokale KI auf dem Mac ist längst praxistauglich – vor allem auf Apple-Silicon-Rechnern (M-Serie). Mit Ollama holen Sie sich eine schlanke Laufzeitumgebung für viele Open-Source-Sprachmodelle (z. B. Llama 3.1/3.2, Mistral, Gemma, Qwen). Mit der aktuellen Ollama-Version wird nun auch eine benutzerfreundliche App geliefert, mit der Sie per Mausklick ein lokales Sprachmodell auf Ihrem Mac einrichten können. In diesem Artikel finden Sie eine pragmatische Anleitung von der Installation bis zum ersten Prompt – mit Hinweisen aus der Praxis, wo Dinge traditionell gern schiefgehen.