Lokale Inferenz
Blitzschnelle In-Process-Ausführung über Apples natives MLX-Swift-Framework. Ihre Prompts und Daten verlassen niemals Ihren Mac.
Native Anwendung für macOS
LocalModel Bridge
Lokale LLM
& Kurzbefehle
Führen Sie KI-Modelle (Llama, Qwen) 100 % lokal auf Ihrem Mac aus. Diese leichte Menüleisten-App wurde exklusiv für Apple Silicon entwickelt und stellt eine blitzschnelle lokale LLM-Inferenz-Engine systemweit über Kurzbefehle, macOS-Dienste oder das integrierte Chat-Fenster zur Verfügung.
01
Funktionen
Lokale generative KI, integriert in macOS.
Kurzbefehle-Integration
Starten und verknüpfen Sie KI-Abfragen direkt in der Apple Kurzbefehle-App (Shortcuts) für Ihre Automatisierungen.
macOS-Dienste-Menü
Markieren Sie Text in Safari, Xcode oder Mail, machen Sie einen Rechtsklick und ersetzen Sie ihn sofort durch die Modellausgabe (z. B. zusammenfassen, übersetzen, umschreiben).
Schwebender Chat
Ein eigenständiges, schwebendes Chat-Fenster mit mehrstufigem Verlauf für die schnelle Interaktion mit Ihren geladenen Modellen.
Intelligente RAM-Verwaltung
Automatisches Entladen des Modells nach Inaktivität und Leeren des Metal-Caches, um den gemeinsamen Speicher wieder freizugeben.
Hugging Face Profile
Geben Sie eine Hugging Face Repository-ID ein für den automatischen Download oder wählen Sie lokale Ordner mit Gewichtungen aus.
02
Integrieren Sie generative KI
Automatisierungen
Integrieren Sie generative KI
in Ihre Arbeitsabläufe.
LocalModel Bridge stellt systemweite AppIntents für die nahtlose Steuerung Ihrer Offline-Inferenz zur Verfügung.
Modell abfragen
Senden Sie Prompts an Ihr lokales Modell und erfassen Sie den generierten Text direkt in Ihren Kurzbefehlen.
Modell laden
Bereiten Sie den Arbeitsspeicher vor, indem Sie ein Modellprofil im Hintergrund laden, bevor Sie sich wiederholende Aufgaben ausführen.
Modell entladen
Geben Sie den gemeinsamen Speicher Ihres Macs sofort frei, indem Sie das Modell entladen, sobald die Automatisierungsaufgaben beendet sind.
- 01 CLI-Automatisierungen Fragen Sie Modelle direkt über das Terminal mithilfe einfacher CLI-Terminal-Skripte ab.
- 02 Dienste-Menü Formulieren Sie markierten Text in Safari, Xcode oder Mail mit einem Klick neu, übersetzen oder korrigieren Sie ihn.
- 03 Lokaler API-Server Aktivieren Sie einen lokalen OpenAI-kompatiblen HTTP-Server (localhost:8080) für Entwickler-Tools von Drittanbietern (z. B. den Cursor-Editor).
03
Datenschutz
Absoluter Offline-Datenschutz durch Design.
Alle Prompts, verarbeiteten Dokumente und Chats verlassen niemals Ihren Computer. Die Verarbeitung erfolgt lokal und offline.
Lokale Inferenz
Modellberechnungen laufen im Prozess auf Apple-Silicon-Kernen über Metal-Shader. Keine externen Cloud-Server beteiligt.
Sandbox-Sicherheit
Der Netzwerkzugriff ist streng auf die vom Benutzer initiierten Downloads von Modellen und lokale APIs beschränkt.
Keine Tracker
Es werden keine Nutzungsdaten, Prompts oder ausgewählten Modelle durch die Anwendung gesammelt, analysiert oder übertragen.
Sicherheitsgarantie: Läuft vollständig offline ohne Konten und erfordert nach dem Herunterladen eines Modells keine Internetverbindung.
Vollständige Datenschutzerklärung lesen →
04
Support
Fragen zur lokalen Inferenz?
Wir helfen Ihnen gerne bei der Konfiguration von Modelldateien, dem Einrichten von Kurzbefehlen oder der Integration des lokalen API-Servers.
Support & FAQ besuchen →