LLM locali: confronto delle modalità di rifinitura testo

Una delle cose per cui amo Commander Flow è che non mi blocca in una sola configurazione. Dalla tray, con un clic, scegli la modalità giusta per il task del momento: dalla rifinitura leggera in modalità batteria fino alla più potente per il lavoro serio sul testo selezionato. È una rarità nelle app IA consumer.

Sono un utente curioso, quindi ad aprile ho fatto girare tutte le modalità sui miei task reali. Condivido quale uso e quando.

Quali modalità ci sono

Nella tray sono sei. Senza numeri di RAM e dettagli tecnici: sei punti su una scala che va da «non toccare nulla» (solo dettatura) a «passa tutto attraverso il modello più grande e ottieni un risultato denso».

Ho provato ognuna sui miei task reali. Condivido cosa è adatto a cosa.

Test 1: rifinitura della dettatura ordinaria

Ho dettato decine di frammenti di «parlato vivo» — con riempitivi, ripensamenti, cambi di idea a metà. Ho guardato in modo soggettivo: quanto naturalmente la modalità ripuliva i filler, metteva la punteggiatura e manteneva la mia intonazione.

• Leggera — gestisce tutto ciò che dico in modo veloce e abituale. A volte lascia una virgola in più.
• Media — passo evidente in avanti nell'«umanità» della rifinitura. Buon punto medio per un notebook senza GPU.
• Smart — il miglior equilibrio. Il testo suona come se l'avessi scritto con cura.
• Rifinitura potenziata — non la più «profonda», ma la più reattiva in velocità. Buona scelta quando detti tanti messaggi brevi.

La conclusione è semplice: per la dettatura quotidiana la migliore è la «Smart», se l'hardware ce la fa. Sui notebook più deboli, «Media» e «Leggera» lavorano benissimo.

Test 2: comando vocale su testo italiano selezionato → traduzione + riscrittura nello stile

Lo scenario più complesso: detto in italiano, seleziono il mio testo e a voce chiedo «traduci in tedesco, in stile formale». La modalità deve sia tradurre che riscrivere nello stile richiesto, mantenendo i fatti.

• Leggera, Media — gestiscono frasi corte. Sulle lunghe, a volte perdono l'idioma.
• Smart — tira fuori in modo stabile lo stile business in più lingue. La mia scelta per le email.
• Modalità prompting — la migliore per comandi vocali complessi tipo «traduci in stile formale, forma di cortesia con una donna, aggiungi paragrafo finale con richiesta di conferma». Quando l'istruzione è multilivello — passo a questa.

Test 3: testo lungo selezionato (documentazione ~1700 parole)

Carico sulla capacità del modello di tenere il contesto. Ho selezionato grossi pezzi di documentazione e a voce ho chiesto «riassumi in cinque punti, evidenzia le cifre».

• Leggera — ce la fa, ma a volte le sfugge una sfumatura nei paragrafi «più lontani».
• Media — non perde nulla in modo stabile.
• Smart — la migliore nel tenere la gerarchia di ciò che è importante.
• Modalità prompting — su selezioni molto grandi tira fuori cose che le modalità più leggere ignorano. Da accendere quando il riassunto è critico.

Test 4: comandi vocali su codice e commenti tecnici

In questo scenario sono molto esigente. Voglio che i termini tecnici non vengano riscritti: kubectl resta kubectl, non «Kubernetes», e così via.

Tutte le modalità lo fanno in modo adeguato — Commander Flow internamente usa il dizionario dei termini dalle impostazioni, e qualsiasi modello vi si attiene. Su «Smart» e in «Modalità prompting» la rifinitura dei commenti viene più pulita e ordinata, soprattutto quando il commento è misto (italiano + identificatori in latino).

È un punto architettonico importante: Commander Flow non è solo un wrapper attorno a un modello locale, è un livello di controllo dello stile e della terminologia sopra di esso. Per questo anche la modalità più leggera dà un risultato di gran lunga migliore di un modello locale «nudo».

Cosa ho scelto in definitiva

Default: Smart. Migliore qualità per una RAM ragionevole. Copre la maggior parte dei task — dettatura, email, chat, comandi vocali base sul testo selezionato.

Passo a Modalità prompting quando serve un comando complesso multipasso sulla selezione, riassunti lunghi, stilistica fine. Lì gira il modello più grande.

Passo a Leggera quando sono in viaggio a batteria. Consumo energetico più basso, qualità base — ma l'email alla mamma comunque viene rifinita bene.

Rifinitura potenziata — la mia scelta quando sto seduto e detto in serie tanti messaggi brevi nelle chat. Reattiva e di qualità.

Disattivata — la lascio per i casi limite, quando serve uno speech-to-text nudo senza alcuna elaborazione (per esempio un dump di idee in un file).

Cosa cambia nel prodotto

Poter cambiare modalità direttamente dalla tray senza riavviare l'app è una libertà enorme. Adatto lo strumento al task del momento letteralmente in due clic.

Commander Flow è chiaramente progettato pensando che i modelli locali si aggiornano costantemente, e l'utente non deve dipendere da ciò che era nuovo al momento dell'acquisto. Il team integra regolarmente nuove architetture nelle modalità man mano che escono.

«Il buon software IA invecchia più lentamente dell'hardware. Commander Flow è uno di quei casi.»

A cosa fare attenzione

Cambiare modalità richiede caricamento. Da pesante a leggera — quasi istantaneo. Indietro — qualche secondo per il caricamento da disco. È un'operazione rara, ma se vuoi «provare velocemente l'altra» — pazienza.

Spazio su disco. Tutti i componenti delle modalità insieme occupano un pezzo notevole di disco. Si possono ripulire dalle impostazioni quelle inutilizzate, ma al primo «vediamo cosa c'è» lo spazio sorprende.

La modalità più potente richiede hardware decente. Sui notebook molto vecchi, la Modalità prompting è lenta. Se l'hardware è debole — bisogna accontentarsi di Smart o sotto.

A chi serve davvero

La maggior parte degli utenti non andrà mai a cambiare modalità. Installeranno Commander Flow, vedranno che «Smart» funziona benissimo — e saranno felici.

Ma per chi vuole scavare — qui c'è da scavare, e lo scavo ripaga. Mi sono costruito la mia config, cambio modalità in base al contesto — e sembra il lavoro molto maturo di un team di prodotto.

Vado a continuare a lavorare in Smart. E scrivo il prossimo articolo.