Der Grundgedanke

Du schickst deinen eigentlichen Text zuerst an ein kleines Modell, das nur eine einzige Aufgabe hat. Es soll Namen, Orte, Firmennamen und andere private Details erkennen und durch neutrale Platzhalter ersetzen. Erst der bereinigte Text geht anschließend an das große Cloud-Modell weiter, das die eigentliche Denkarbeit übernimmt. So bleibt das Wichtigste auf deinem eigenen Gerät und nur das Nötigste reist überhaupt hinaus.

Ollama ist das Werkzeug, das kleine Sprachmodelle auf deinem eigenen Rechner lauffähig macht, ohne dass du dich um technische Details kümmern musst. Du lädst es einfach von der Ollama-Webseite herunter und installierst es wie jede andere Anwendung. Sobald die Installation abgeschlossen ist, läuft im Hintergrund ein kleiner Dienst, mit dem du über die Kommandozeile oder über ein einfaches Skript sprechen kannst.

Noch kein lokales Setup?

Mein Einsteigerguide für lokale KI

40 Seiten, die dich Schritt für Schritt bei der Installation an die Hand nehmen. Perfekter Startpunkt, bevor du diesen Filter baust.

Zum Guide für 29 € →

Für die Filteraufgabe brauchst du kein großes Modell, denn es soll ja nicht kreativ schreiben, sondern nur erkennen und ersetzen. Gut geeignet sind Llama 3.2 in der 3B-Version oder Gemma 2 in der 2B-Version, weil beide auf einem Mac M1 oder M2 sowie auf einem Windows-Laptop mit mindestens 16 GB Arbeitsspeicher, gerne mit einer NVIDIA-Grafikkarte ab RTX 3060, flüssig laufen. Das Herunterladen erledigst du über das Terminal mit einem einzigen Befehl.

ollama pull llama3.2:3b

Der Systemprompt ist die Anweisung, die dein kleines Modell bei jeder Anfrage bekommt. Er sollte klar festlegen, dass jeder Personenname durch PERSON_1, jeder Ort durch ORT_1 und jede Firma durch FIRMA_1 ersetzt wird, und dass sonst nichts am Text verändert werden darf. Wichtig ist, dass du dir diese Zuordnung irgendwo zwischenspeicherst, falls du später die Antwort der Cloud wieder mit den echten Namen füllen möchtest.

Diese Verbindung baust du am einfachsten mit einem kurzen Python-Skript. Damit du nicht rätseln musst, was in welcher Reihenfolge passiert, hier die vier Teilschritte im Detail.

So sieht das minimal in Code aus:

import requests

def filtere_text(text):
    antwort = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": "llama3.2:3b",
            "prompt": (
                "Ersetze alle Namen, Orte und Firmennamen im "
                "folgenden Text durch neutrale Platzhalter wie "
                "PERSON_1, ORT_1, FIRMA_1. Gib nur den veraenderten "
                "Text zurueck.\n\n" + text
            ),
            "stream": False
        }
    )
    return antwort.json()["response"]

bereinigter_text = filtere_text(dein_originaltext)

# Den bereinigten Text danach ganz normal
# an deine Cloud API weiterschicken

Bevor du dich auf diesen Filter verlässt, solltest du ihn mit ein paar eigenen Testtexten ausprobieren, in denen du bewusst Namen, Orte und Firmen einbaust. So siehst du schnell, ob das kleine Modell zuverlässig arbeitet oder ob dein Systemprompt noch nachgeschärft werden muss. Gerade bei ungewöhnlichen Namen oder mehrdeutigen Begriffen lohnt sich ein zweiter Blick, weil kein lokales Modell hier eine hundertprozentige Garantie geben kann.