Ollama: Lokale KI nutzen (Guide zu Datenschutz & Integration)

25.03.2025 - Sebastian Tschoepel

Willkommen zu meinem ersten Beitrag! 🚀 Cloud-KIs wie ChatGPT oder Claude schicken deine Eingaben an den Anbieter. Ollama lässt große Sprachmodelle stattdessen auf deinem eigenen Rechner laufen, ohne API-Kosten und ohne dass Daten das Haus verlassen.

Was ist Ollama?

Ollama ist ein Programm, das große Sprachmodelle (LLMs) wie Llama 3.2, Mistral oder CodeLlama lokal auf deinem PC ausführt. Du bestimmst, was mit deinen Daten passiert, und zahlst keine API-Gebühren.

Step 1: Installation

Die Installation dauert etwa drei Minuten:

  1. Lade auf ollama.com die Version für dein Betriebssystem herunter (Windows, macOS oder Linux).
  2. Installiere sie wie jede andere App.
  3. Öffne das Terminal und gib ollama --version ein. Erscheint eine Versionsnummer, läuft die Installation.

Step 2: Modelle laden

Ein Befehl pro Modell reicht:

Terminal window
ollama pull llama3.2:latest  # Allround-Modell
ollama pull mistral:latest  # Für Texte und Kreatives

Die Modelle liegen danach in ~/.ollama/models/ und brauchen Speicherplatz: Ein 7B-Modell belegt etwa 4 GB.

Step 3: Der lokale Server

Ollama startet auf deinem Rechner einen Server (Port 11434). Zum Chatten im Terminal reicht dieser Befehl:

Terminal window
ollama run llama3.2:latest

Aus eigenen Programmen sprichst du das Modell über die REST-API an.

Beispiel: Textgenerierung mit cURL

Terminal window
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3.2:latest",
  "prompt": "Erkläre KI, als wäre ich 5 Jahre alt",
  "stream": false
}'

Damit kannst du zum Beispiel:

  • Texte schreiben (E-Mails, Blogposts)
  • Daten analysieren (CSV-Dateien durchsuchen)
  • Texte übersetzen

Step 4: Ollama in die Website einbinden

Über die API lässt sich Ollama auch in eine Website einbauen:

  • Für einen Chatbot verbindet ein Framework wie LangChain oder LlamaIndex Ollama mit deinem Backend.
  • Für Automatisierungen sortiert das Modell Tickets oder wertet Bewertungen aus.

Eigene Daten einbinden

  • Beim Fine-Tuning trainierst du das Modell mit eigenen Daten, zum Beispiel mit internen Dokumenten.
  • Im Prompt gibst du Kontext vor, etwa: “Antworte als freundlicher Berater mit Fokus auf Datenschutz.”

Warum lokal statt Cloud?

Bei Cloud-Diensten wie ChatGPT gehen deine Eingaben an den Anbieter, der sie je nach Tarif und Einstellung auch zum Training verwenden kann. Mit Ollama bleiben Prompts und Dokumente auf deinem Server. Außerdem passt du das Modell an deine Firma an: Fachjargon, internes Wissen, Tonfall.

Ollama im Team einsetzen

Auf dem eigenen Laptop ist Ollama in wenigen Minuten eingerichtet. Im Unternehmen musst du klären, wer zugreifen darf und wie du das Modell so hostest und absicherst, dass garantiert nichts auf US-Servern liegt.

Wir richten das für Startups und wachsende Unternehmen in der DACH-Region ein, von der Hardware bis zur Schulung.

Wie wir das umsetzen

Ausblick

Lokale Modelle lassen sich in eigene Anwendungen einbauen. Ein Assistent in deiner App greift dann live auf deine Daten zu, ohne dass sie das Haus verlassen. Eine Automatisierung prüft Rechnungen oder wertet Kundendaten für Marketing aus, ebenfalls vor Ort.

Jetzt ausprobieren

Installiere Ollama, lade ein Modell und stell ihm eine Frage. Die erste Grenze ist meist dein Arbeitsspeicher: Das Modell muss hineinpassen.

AIKIDatenschutzAutomatisierung