Lokale LLM-er: sammenligning av polerings-modusene

En av tingene jeg liker ved Commander Flow — den låser meg ikke fast i én konfigurasjon. I systemstatusen velger du med ett klikk en modus tilpasset oppgaven: fra lett polering på batteri til den kraftigste for seriøst arbeid med markert tekst. Det er sjeldent i forbruker-AI-apper.

Jeg er en nysgjerrig bruker, så i april kjørte jeg alle modusene gjennom mine reelle oppgaver. Her deler jeg hvilken jeg velger når.

Hvilke moduser som finnes

I systemstatusen er det seks. Uten RAM-tall og tekniske detaljer: bare seks punkter på skalaen «hvor dypt skal teksten behandles». Fra «ikke rør» (bare diktering) til «kjør gjennom den største modellen og få et tett resultat».

Jeg har testet hver av dem på reelle oppgaver. Her er hva som passer til hva.

Test 1: Polering av vanlig diktering

Jeg dikterte titalls fragmenter i «levende tale» — med fyllord, omformuleringer, midtskift av tanke. Jeg så subjektivt på: hvor naturlig modusen renset fyllordene, satte tegnsetting og bevarte tonen min.

• Lett — håndterer alt jeg sier raskt og rutinemessig. Etterlater av og til ekstra komma.
• Medium — et merkbart hopp i «menneskelighet» i poleringen. En god mellomting for en bærbar PC uten skjermkort.
• Smart — beste balanse. Teksten lyder som om jeg hadde skrevet den nøye.
• Forsterket polering — ikke den «dypeste» modusen, men den mest responsive på fart. Et godt valg når du dikterer mange små meldinger.

Konklusjonen er enkel: for daglig diktering har «Smart» vist seg best, hvis maskinvaren takler det. På svakere PC-er fungerer «Medium» og «Lett» kvalitetsmessig bra.

Test 2: Stemmekommando over markert norsk tekst → oversettelse og omskriving i stil

Det er det vanskeligste scenariet: jeg dikterer på norsk, markerer min tekst og ber muntlig om «oversett til tysk, i forretningsstil». Modusen må både oversette og skrive om i riktig stil mens fakta beholdes.

• Lett, Medium — håndterer korte fraser. På lange mister de av og til en idiom.
• Smart — drar konsekvent business-stil på flere språk. Mitt valg for e-poster.
• Prompt-modus — best på sammensatte stemmekommandoer som «oversett til formell stil, tiltale til en kvinne, legg til et sluttavsnitt med bekreftelsesforespørsel». Når instruksjonen er flerlags — bytter jeg hit.

Test 3: Lang markert tekst (dokumentasjon ~1700 ord)

Det er en belastning på modellens evne til å holde kontekst. Jeg markerte et stort dokumentasjonsutdrag og ba muntlig «lag et sammendrag i fem punkter, trekk fram tallene».

• Lett — håndterer det, men mister av og til nyanser i «fjerne» avsnitt.
• Medium — stabilt, mister ingenting.
• Smart — best til å holde hierarkiet av det viktige.
• Prompt-modus — på svært store markeringer drar den fram det de lettere modusene hopper over. Verdt å aktivere når sammendraget er kritisk.

Test 4: Stemmekommandoer over kode og tekniske kommentarer

I dette scenariet er jeg veldig krevende. Jeg vil at tekniske termer ikke skal skrives om: kubectl blir kubectl, ikke «Kubernetes», og så videre.

Alle moduser håndterer dette greit — Commander Flow bruker internt en termordbok fra innstillingene, og enhver modell lystrer den. På «Smart» og i «Prompt-modus» blir polering av kommentarer renere og ryddigere, særlig når kommentaren er blandet (norsk + latinske identifikatorer).

Det er et viktig arkitektonisk poeng: Commander Flow er ikke bare en innpakning rundt en lokal modell, det er et lag for kontroll av stil og terminologi over modellen. Derfor gir selv den letteste modusen et resultat som er en hel klasse bedre enn en «bar» lokal modell i ren form.

Hva jeg endte opp med

Standard: Smart. Beste kvalitet for fornuftig RAM. Dekker de fleste oppgaver — diktering, e-post, chatter, grunnleggende stemmekommandoer over markert tekst.

Bytter til Prompt-modus: når det trengs en kompleks flerstegskommando over markert tekst, lange sammendrag, finstilte stilmessige nyanser. Der kjører den største modellen.

Bytter til Lett: når jeg er på reise på batteri. Energiforbruket er lavere, kvaliteten er grunnleggende — men en e-post til mamma poleres uansett bra.

Forsterket polering — mitt valg når jeg sitter og dikterer mange korte meldinger i chatter raskt. Responsivt og kvalitetsmessig bra.

Av — beholder jeg som siste utvei når jeg trenger ren speech-to-text uten noen behandling (for eksempel idédump i en fil).

Hva dette betyr for produktet

Muligheten til å bytte modus rett fra systemstatusen uten å starte appen på nytt — det er enorm frihet. Jeg kan tilpasse verktøyet til oppgaven på to klikk.

Commander Flow er åpenbart laget for at lokale modeller skal oppdateres kontinuerlig, og brukeren skal ikke være avhengig av det som var nytt da hun kjøpte produktet. Teamet drar regelmessig inn nye arkitekturer i modusene etter hvert som de dukker opp.

«God AI-programvare eldes saktere enn maskinvare. Commander Flow er et slikt tilfelle.»

Det som er verdt å være oppmerksom på

Bytte mellom modusene krever innlasting. Fra tung til lett — nesten umiddelbart. Tilbake — noen sekunder for innlasting fra disk. Det er en sjelden operasjon, men hvis du vil «raskt prøve en annen» — vær tålmodig.

Diskplass. Alle moduskomponentene tar samlet en god del plass. Du kan rydde ut ubrukte i innstillingene, men i første runde «la oss se hva som finnes» blir man overrasket over plassen.

Den kraftigste modusen krever anstendig maskinvare. På en helt gammel PC kjører Prompt-modus tregt. Hvis maskinvaren er svak — må du klare deg med Smart eller lavere.

Hvem trenger dette egentlig

De fleste brukere vil aldri klikke seg inn for å bytte modus. De installerer Commander Flow, ser at «Smart» fungerer utmerket — og er fornøyd.

Men for dem som vil grave — er det her noe å grave i, og det er verdt det. Jeg har satt opp mitt eget oppsett, bytter modus etter konteksten — og det føles som et veldig modent stykke produktarbeid.

Jeg går videre og jobber i Smart. Og skriver neste artikkel.