Come posso aggiungere e scaricare un modello IA?
Apri il pannello Impostazioni dell'app e seleziona la scheda Modelli. Fai clic su "+" per creare un profilo. Puoi inserire un ID repository di Hugging Face (es. mlx-community/Qwen2.5-1.5B-Instruct-4bit) o selezionare una cartella locale contenente i pesi sul tuo Mac. Fai clic su "Crea profilo", quindi caricalo dal menu a comparsa della barra dei menu.
Perché l'applicazione richiede l'accesso alla rete?
LocalModel Bridge funziona al 100% offline. L'accesso alla rete client viene utilizzato solo per interrogare e scaricare i pesi dei modelli dal Hub di Hugging Face. L'accesso alla rete server viene utilizzato solo per ospitare il server HTTP compatibile con OpenAI su una porta locale scelta (es. 8080) sulla tua macchina (localhost).
Come posso interrogare i modelli tramite l'app Comandi Rapidi?
LocalModel Bridge si integra nativamente con l'app Comandi Rapidi (Shortcuts) di macOS. Apri Comandi Rapidi, crea un nuovo flusso di lavoro e cerca "LocalModelBridge" nella libreria delle azioni. L'azione principale "Interroga modello locale" accetta un prompt e restituisce la risposta testuale generata dal modello in esecuzione.
Come funziona il server API locale?
Nella scheda Generale delle Impostazioni, puoi attivare "Abilita server API HTTP locale". Questo espone un'API di completamento compatibile con OpenAI all'indirizzo http://localhost:8080/v1/chat/completions, consentendo a strumenti di sviluppo di terze parti (come l'editor Cursor) di interrogare i tuoi modelli locali.
In che modo l'app gestisce la RAM del mio Mac?
I modelli linguistici generativi (LLM) occupano una quantità significativa di RAM. Per evitare rallentamenti del sistema, LocalModel Bridge scarica automaticamente i modelli dalla memoria unificata Apple Silicon dopo un periodo di inattività configurabile e pulisce la cache Metal del sistema.