Esistono interfacce grafiche (GUI) per gestire i vari modelli e agenti. AnythingLLM spicca per la completezza delle funzioni, RAG (Retrieval Augmented Generation) compresi, pur nell’estrema facilità di installazione e uso. Infatti con un’interfaccia semplice consente il caricamento di file nella memoria del modello in uso, per generare testi a partire dai propri file.
Ollama è “il modo più semplice per costruire con modelli aperti”: con un semplice script si installa un orchestratore di modelli, sia in locale che in cloud. L’interfaccia grafica più diffusa è Openwebui.
La generazione di testo è paragonabile a quella dei modelli più blasonati disponibili solo in cloud. I limiti, specialmente sulle dimensioni della finestra di contesto, diventano evidenti soprattutto nel trattamento di testi complessi a livello linguistico, ad esempio un testo letterario in lingua non inglese imitando lo stile di un corpus di testi di riferimento.
Come regola di massima, in locale possono girare modelli fino a 30B (30 miliardi di parametri) con 24GB di GPU. Con CPU recenti possono girare modelli fino a 3B (3 miliardi di parametri).
Le traduzioni sono generazioni di testo particolari. Nella logica delle IAr, cerchiamo di ridurre al massimo le necessità computazionali: invece di ricorrere a LLM generici, possiamo limitare le risorse con libretranslate, installabile anche in locale con interfaccia web, o su server privato. Il motore di traduzione è fornito da Argos Open Tech, che utilizza modelli di traduzione automatica neurale.
approfondimenti software: AnythingLLM, Speechnote, Libretranslate, Subsai
