Lokale LLM'er: sammenligning af poleringstilstande

En af de ting, jeg elsker ved Commander Flow, er, at det ikke låser mig fast i én konfiguration. I trayen vælges med ét klik en tilstand til den aktuelle opgave: fra let polering på batteri til den kraftigste til seriøst arbejde med markeret tekst. Det er sjældent i forbruger-AI-programmer.

Jeg er en nysgerrig bruger, så jeg har i april kørt alle tilstande gennem mine reelle opgaver. Her deler jeg, hvad jeg vælger til hvad.

Hvilke tilstande findes

I trayen er der seks. Uden RAM-tal og tekniske detaljer: bare seks punkter på en skala for "hvor dybt skal teksten behandles". Fra "rør den slet ikke" (kun diktering) til "kør den gennem den største model og få et tæt resultat".

Jeg har afprøvet hver i mine reelle opgaver. Her deler jeg, hvad der passer til hvad.

Test 1: Polering af almindelig diktering

Jeg dikterede dusinvis af stykker "som almindelig tale" — med fyldord, omformuleringer, skifte i tankegang midt i sætningen. Jeg så subjektivt på det: hvor naturligt tilstanden ryddede fyldord ud, satte tegn og bevarede min tone.

• Light — klarer alt, jeg siger hurtigt og indøvet. Lader nogle gange et komma stå for meget.
• Mellem — et mærkbart skridt fremad i polering "menneskelighed". God mellemvej til en bærbar uden grafikkort.
• Smart — den bedste balance. Teksten lyder, som om jeg omhyggeligt har skrevet den.
• Forstærket polering — ikke den "dybeste" tilstand, men den mest responsive efter hastighed. Et godt valg, når man dikterer mange små beskeder.

Konklusionen i denne test er enkel: til hverdags-diktering klarede "Smart" sig bedst, hvis hardwaren trækker den. På svagere bærbare arbejder "Mellem" og "Light" kvalitetsmæssigt.

Test 2: Stemmekommando over markeret dansk tekst → oversættelse og omskrivning i stil

Det er det sværeste scenarie: jeg dikterer på dansk, markerer min tekst og beder med stemmen "oversæt til tysk, i forretningstone". Tilstanden skal både oversætte og omskrive i den ønskede stil og bevare fakta.

• Light, Mellem — klarer korte sætninger. På lange mister de nogle gange idiomer.
• Smart — trækker konsekvent business-stilen igennem på flere sprog. Mit valg til mails.
• Prompt-tilstand — bedst til komplekse stemmekommandoer som "oversæt i formel stil, tiltale til en kvinde, tilføj et afsluttende afsnit med anmodning om bekræftelse". Når instruktionen er flerlaget — skifter jeg hertil.

Test 3: Lang markeret tekst (dokumentation ~1700 ord)

Det er en belastning på modellens evne til at fastholde kontekst. Jeg markerede et stort stykke dokumentation og bad med stemmen "lav et resumé i fem punkter, fremhæv tallene".

• Light — klarer det, men misser nogle gange en nuance i de "fjerne" afsnit.
• Mellem — misser stabilt intet.
• Smart — fastholder hierarkiet af det vigtige bedst.
• Prompt-tilstand — på meget store markeringer trækker den ting frem, som de lettere tilstande overser. Værd at slå til, når resuméet er kritisk.

Test 4: Stemmekommandoer over kode og tekniske kommentarer

Jeg er meget krævende i dette scenarie. Jeg vil have, at tekniske termer ikke skrives om: kubectl forbliver kubectl, ikke "Kubernetes", osv.

Alle tilstande klarer det adækvat — Commander Flow bruger internt termordbogen fra indstillingerne, og enhver model adlyder den. På "Smart" og i "Prompt-tilstand" bliver poleringen af kommentarer renere og mere præcis, især når kommentaren er blandet (dansk + latinske identifikatorer).

Det er et vigtigt arkitektonisk punkt: Commander Flow er ikke bare en wrapper omkring en lokal model, det er et lag for stilkontrol og terminologi oven på den. Derfor giver selv den letteste tilstand et resultat, der er hovedet og skuldrene over en "rå" lokal model i sin reneste form.

Hvad jeg endte med at vælge

Standard: Smart. Bedste kvalitet for rimelig RAM. Dækker de fleste opgaver — diktering, mails, chats, basale stemmekommandoer over markeret tekst.

Skifter til Prompt-tilstand: når der er brug for en kompleks flertrins-kommando over markeret tekst, lange resuméer, fin stilarbejde. Der kører den største model.

Skifter til Light: når jeg er på farten på batteri. Strømforbruget er lavere, kvaliteten basal — men en mail til mor bliver alligevel poleret godt.

Forstærket polering — mit valg, når jeg sidder og dikterer mange korte beskeder i chats. Responsiv og kvalitetsmæssig.

Slukket — gemmer jeg til nødstilfælde, når jeg har brug for ren speech-to-text uden nogen behandling (f.eks. dump af idéer i en fil).

Hvad det ændrer i produktet

Muligheden for at skifte tilstande direkte i trayen uden at genstarte programmet er en kæmpe frihed. Jeg kan tilpasse værktøjet til den aktuelle opgave bogstaveligt på to klik.

Commander Flow er åbenlyst lavet med tanke på, at lokale modeller løbende vil blive opdateret, og at brugeren ikke skal være afhængig af, hvad der var nyt på købstidspunktet. Holdet trækker regelmæssigt nye arkitekturer ind i tilstandene, efterhånden som de dukker op.

"God AI-software ældes langsommere end hardware. Commander Flow er det tilfælde."

Hvad man skal være opmærksom på

Skift mellem tilstande kræver indlæsning. Fra tung til let tilstand — næsten øjeblikkeligt. Den anden vej — et par sekunder til indlæsning fra disk. Det er en sjælden operation, men hvis du vil "hurtigt prøve en anden" — så vent lidt.

Diskpladsen. Alle komponenter til tilstandene fylder samlet en betydelig del af disken. Du kan slette ubrugte i indstillingerne, men ved første runde "lad os se, hvad der er" — bliver pladsen overrasket.

Den kraftigste tilstand kræver ordentlig hardware. På en helt gammel bærbar arbejder Prompt-tilstanden langsomt. Hvis hardwaren er svag — må du nøjes med Smart eller lavere.

Hvem har brug for det her overhovedet

De fleste brugere går aldrig ind og skifter tilstande. De installerer Commander Flow, ser at "Smart" fungerer fint — og er glade.

Men for dem, der vil grave dybere — er der noget at grave i, og det betaler sig. Min opsætning er sat sammen, jeg skifter mellem tilstande efter kontekst — og det føles som meget moden produktteam-arbejde.

Tilbage til arbejde i Smart. Og jeg skriver den næste artikel.