Mistral

Beiträge über Mistral KI-Modelle. Hier geht es um technische Grundlagen, Benchmarks, Vergleiche zu anderen LLMs und praxisnahe Einsatzszenarien.

Apple MLX vs. NVIDIA: So funktioniert lokale KI-Inferenz auf dem Mac

von
Lokale KI auf Silicon mit Apple Mac

Wer heute mit Künstlicher Intelligenz arbeitet, denkt oft zuerst an ChatGPT oder ähnliche Online-Dienste. Man tippt eine Frage ein, wartet ein paar Sekunden – und erhält eine Antwort, als säße ein sehr belesener, geduldiger Gesprächspartner am anderen Ende der Leitung. Doch was dabei leicht vergessen wird: Jede Eingabe, jeder Satz, jedes Wort wandert über das Internet zu fremden Servern. Dort wird die eigentliche Arbeit erledigt – auf riesigen Rechnern, die man selbst nie zu Gesicht bekommt.

Ein lokales Sprachmodell funktioniert im Prinzip genauso – nur eben ohne Internet. Das Modell liegt als Datei auf dem eigenen Computer, wird beim Start in den Arbeitsspeicher geladen und beantwortet Fragen direkt auf dem Gerät. Die Technik dahinter ist dieselbe: ein neuronales Netz, das Sprache versteht, Texte generiert und Muster erkennt. Nur dass die gesamte Berechnung im eigenen Haus bleibt. Man könnte sagen: ChatGPT ohne Cloud.

Weiterlesen

Künstliche Intelligenz: Welche Jobs in Gefahr sind, und wie wir uns jetzt wappnen können

von
Welche Jobs entfallen künftig durch KI

Kaum ein technologischer Wandel hat sich so schnell in unseren Alltag eingeschlichen wie die künstliche Intelligenz. Was gestern noch als visionäre Zukunftstechnologie galt, ist heute bereits Realität – ob beim Texten, Programmieren, Diagnostizieren, Übersetzen oder sogar beim Erstellen von Musik, Kunst oder juristischen Schriftsätzen.

Weiterlesen

MLX auf Apple Silicon als lokale KI im Vergleich mit Ollama & Co.

von
Lokale KI auf dem Mac mit MLX

In einer Zeit, in der zentrale KI-Dienste wie ChatGPT, Claude oder Gemini die Schlagzeilen beherrschen, wächst bei vielen professionellen Anwendern das Bedürfnis nach einem Gegenpol – einer lokalen, selbst kontrollierbaren KI-Infrastruktur. Gerade für kreative Prozesse, sensible Daten oder wiederkehrende Arbeitsabläufe ist eine lokale Lösung oft die nachhaltigere und sicherere Option.

Wer mit einem Mac arbeitet – insbesondere mit Apple Silicon (M1, M2, M3 oder M4) – findet mittlerweile erstaunlich leistungsfähige Tools, um eigene Sprachmodelle direkt auf dem Gerät zu betreiben. Im Zentrum steht dabei eine neue, weitgehend unbekannte Komponente: MLX, ein von Apple entwickeltes Machine-Learning-Framework, das in den kommenden Jahren eine zunehmend zentrale Rolle im KI-Ökosystem des Unternehmens spielen dürfte.

Weiterlesen

RAG mit Ollama und Qdrant als universelle Suchmaschine für eigene Daten

von
Lokale KI um Datenbanken erweitern mit RAG, Ollama und Qdrant

In einer zunehmend unübersichtlichen Informationswelt wird es immer wichtiger, eigene Datenbestände gezielt durchsuchbar zu machen – nicht über klassische Volltextsuche, sondern durch semantisch relevante Antworten. Genau hier kommt das Prinzip der RAG-Datenbank ins Spiel – also einer KI-gestützten Suchlösung, die sich aus zwei zentralen Komponenten zusammensetzt:

Weiterlesen

Ollama trifft Qdrant: Ein lokales Gedächtnis für Deine KI auf dem Mac

von
Gedächtnis für lokale KI mit Ollama und Qdrant

Lokale KI mit Erinnerungsvermögen – ohne Cloud, ohne Abo, ohne Umweg

In einem früheren Artikel habe ich erklärt, wie man Ollama auf dem Mac installiert. Wer diesen Schritt bereits hinter sich hat, verfügt nun über ein leistungsfähiges lokales Sprachmodell – etwa Mistral, LLaMA3 oder ein anderes kompatibles Modell, das per REST-API ansprechbar ist.

Doch von allein „weiß“ das Modell nur das, was im aktuellen Prompt steht. Es erinnert sich nicht an frühere Konversationen. Was fehlt, ist ein Gedächtnis.

Weiterlesen

Lokale KI auf dem Mac: So installieren Sie ein Sprachmodell mit Ollama

von

Lokale KI auf dem Mac ist längst praxistauglich – vor allem auf Apple-Silicon-Rechnern (M-Serie). Mit Ollama holen Sie sich eine schlanke Laufzeitumgebung für viele Open-Source-Sprachmodelle (z. B. Llama 3.1/3.2, Mistral, Gemma, Qwen). Mit der aktuellen Ollama-Version wird nun auch eine benutzerfreundliche App geliefert, mit der Sie per Mausklick ein lokales Sprachmodell auf Ihrem Mac einrichten können. In diesem Artikel finden Sie eine pragmatische Anleitung von der Installation bis zum ersten Prompt – mit Hinweisen aus der Praxis, wo Dinge traditionell gern schiefgehen.

Weiterlesen