Lokala LLM:er: jämförelse av putsningslägen

En av sakerna jag älskar med Commander Flow är att den inte låser in mig i en konfiguration. I aktivitetsfältet väljer jag med ett klick rätt läge för uppgiften: från lätt putsning på batteridrift till det mest kraftfulla för seriöst arbete med markerad text. Det är ovanligt i konsumentinriktad AI-mjukvara.

Jag är en nyfiken användare, så under april har jag kört igenom alla lägen på riktiga uppgifter. Jag delar med mig av vilket jag väljer när.

Vilka lägen finns det

I aktivitetsfältet finns sex stycken. Utan RAM-siffror och tekniska detaljer: bara sex punkter på skalan ”hur djupt ska texten bearbetas”. Från ”rör ingenting” (bara diktering) till ”kör genom största modellen och få ett fylligt resultat”.

Jag har testat var och en på riktiga uppgifter. Här delar jag vad som passar för vad.

Test 1: Putsning av vanlig diktering

Jag dikterade dussintals stycken ”som levande tal” – med utfyllnad, omtag, tankebyten mitt i. Subjektiv bedömning: hur naturligt rensar läget filler, sätter ut skiljetecken och behåller min ton.

• Lätt — klarar allt jag säger snabbt och vant. Lämnar ibland ett extra kommatecken.
• Medel — märkbart steg framåt i ”mänsklighet”. Bra mellanting för en laptop utan grafikkort.
• Smart — bästa balansen. Texten låter som om jag noggrant skrev den.
• Förstärkt putsning — inte ”djupast”, men mest reaktiv. Bra när du dikterar många små meddelanden.

Slutsats: för daglig diktering är ”Smart” bäst, om hårdvaran orkar. På svagare laptops är ”Medel” och ”Lätt” fullt godkända.

Test 2: Röstkommando över markerad svensk text → översätt och skriv om i stil

Det svåraste scenariot: jag dikterar på svenska, markerar texten och ber muntligt ”översätt till tyska, affärsstil”. Läget ska både översätta och skriva om i rätt stil och behålla fakta.

• Lätt, Medel — klarar korta fraser. På långa tappar de ibland ett idiom.
• Smart — håller business-stil stabilt på flera språk. Mitt val för mejl.
• Promptningsläge — bäst på komplexa röstkommandon i stil med ”översätt i formell stil, tilltal till en kvinna, lägg till ett avslutningsstycke med begäran om bekräftelse”. När instruktionen är flerlagrad – då växlar jag hit.

Test 3: Lång markerad text (dokumentation ~1700 ord)

Det här är en belastning på modellens förmåga att hålla kontext. Jag markerade en stor del dokumentation och bad muntligt ”sammanfatta i fem punkter, framhäv siffrorna”.

• Lätt — klarar det, men missar ibland nyanser i ”bortre” stycken.
• Medel — missar konsekvent ingenting.
• Smart — håller hierarkin av viktigt bäst.
• Promptningsläge — på riktigt stora markeringar drar den fram det som de lättare lägena ignorerar. Värt att slå på när sammanfattningen är kritisk.

Test 4: Röstkommandon över kod och tekniska kommentarer

Jag är väldigt krävande här. Jag vill att tekniska termer inte skrivs om: kubectl ska förbli kubectl, inte ”Kubernetes”, och så vidare.

Alla lägen klarar det adekvat – Commander Flow använder en termordbok från inställningarna internt, och alla modeller följer den. På ”Smart” och i ”Promptningsläge” blir putsningen renare och prydligare, särskilt när kommentaren är blandad (svenska + latinska identifierare).

Det här är en viktig arkitekturpunkt: Commander Flow är inte bara ett wrapper runt en lokal modell, det är ett lager för stil- och termkontroll ovanpå den. Därför ger även det lättaste läget ett resultat som är klart bättre än en ”naken” lokal modell.

Vad jag har valt i slutändan

Standard: Smart. Bästa kvalitet för rimligt RAM. Täcker de flesta uppgifterna – diktering, mejl, chattar, enkla röstkommandon över markerad text.

Växlar till Promptningsläge: när jag behöver ett komplext flerstegskommando över markerad text, långa sammanfattningar, fin stilistik. Där kör den största modellen.

Växlar till Lätt: när jag är på resa på batteri. Energiåtgången är lägre, kvaliteten basal – men mejlet till mamma blir putsat ändå.

Förstärkt putsning — mitt val när jag sitter och dikterar in många korta meddelanden i chattar. Reaktivt och bra.

Av — sparar jag till nödfall då jag behöver rå speech-to-text utan bearbetning (till exempel idédump till fil).

Vad det förändrar i produkten

Möjligheten att byta läge direkt från aktivitetsfältet utan omstart är en enorm frihet. Jag kan anpassa verktyget till uppgiften på två klick.

Commander Flow är tydligt byggt med tanken att lokala modeller kommer att uppdateras hela tiden och att användaren inte ska vara fast vid det som var nytt vid köptillfället. Teamet drar in nya arkitekturer i lägena allteftersom de släpps.

”Bra AI-mjukvara åldras långsammare än hårdvaran. Commander Flow är ett sådant fall.”

Det du bör vara medveten om

Byte mellan lägen kräver inläsning. Från tungt till lätt – nästan omedelbart. Tillbaka – några sekunder för diskinläsning. Sällan, men om du vill ”snabbtesta ett annat” – ha tålamod.

Diskutrymme. Alla lägeskomponenter tillsammans tar en rejäl del av disken. Du kan rensa oanvända i inställningarna, men i första rundan ”vad finns” överraskas man av storleken.

Det mest kraftfulla läget kräver hyfsad hårdvara. På riktigt gamla laptops är Promptningsläget långsamt. Är hårdvaran svag får du nöja dig med Smart eller lägre.

Vem behöver det här

De flesta användare kommer aldrig att byta läge. De installerar Commander Flow, ser att ”Smart” fungerar utmärkt – och är nöjda.

Men för dig som vill gå djupare finns djup att gå till, och det lönar sig. Jag har satt ihop min uppsättning, växlar mellan lägena efter sammanhanget – och det känns som ett mycket moget produktarbete.

Jag fortsätter jobba i Smart. Och skriver nästa artikel.