Lokální LLM: srovnání režimů polotovky textu

Jedna z věcí, které na Commander Flow miluju – nenutí mě do jedné konfigurace. V liště si jedním klikem vyberu režim podle aktuálního úkolu: od lehké polotovky na baterii po nejsilnější model pro vážnou práci s označeným textem. To je u spotřebitelských AI aplikací vzácnost.

Jsem zvědavý uživatel, takže jsem během dubna prohnal všechny režimy svými reálnými úkoly. Sdílím, který kdy volím.

Jaké režimy jsou k dispozici

V liště je jich šest. Bez čísel RAM a technických detailů: prostě šest bodů na škále „jak hluboko text zpracovat“. Od „nesahat vůbec“ (jen diktování) až po „pustit přes největší model a dostat hutný výsledek“.

Každý jsem vyzkoušel na svých reálných úkolech. Sdílím, co se hodí na co.

Test 1: polotovka běžného diktování

Nadiktoval jsem desítky fragmentů „jako živá řeč“ – se slovní vatou, přebrebty, změnou myšlenky uprostřed. Subjektivně jsem sledoval: jak přirozeně režim vyčistil výplňová slova, doplnil interpunkci a zachoval moji intonaci.

• Lehký – zvládá vše, co říkám rychle a obvykle. Občas nechá zbytečnou čárku.
• Střední – znatelný krok dopředu v „lidskosti“ polotovky. Dobrá střední cesta pro notebook bez grafiky.
• Chytrý – nejlepší rovnováha. Text zní, jako bych ho pečlivě napsal.
• Zesílená polotovka – ne nejhlubší režim, ale nejodzývavější. Dobrá volba, když diktuju spoustu drobných zpráv.

Závěr testu je jednoduchý: pro běžné diktování si nejlépe vede „Chytrý“, pokud ho hardware utáhne. Na slabších noteboocích kvalitně fungují „Střední“ i „Lehký“.

Test 2: hlasový příkaz nad označeným českým textem → překlad a přepis ve stylu

Nejnáročnější scénář: diktuji česky, označím vlastní text a hlasem požádám „přelož do němčiny, obchodní styl“. Režim musí přeložit i přepsat ve správném stylu a zachovat fakta.

• Lehký, Střední – zvládají krátké věty. U dlouhých občas ztratí idiom.
• Chytrý – stabilně vytahuje business styl v několika jazycích. Moje volba pro e-maily.
• Režim promptingu – nejlepší u složitých hlasových příkazů typu „přelož ve formálním stylu, oslovení ženy, přidej finální odstavec s žádostí o potvrzení“. Když je instrukce vícevrstvá, přepínám sem.

Test 3: dlouhý označený text (dokumentace ~1 700 slov)

To je zátěž na schopnost modelu udržet kontext. Označoval jsem velký kus dokumentace a hlasem prosil „udělej shrnutí v pěti bodech, vypíchni čísla“.

• Lehký – zvládá to, ale občas v „dálkových“ odstavcích vypustí nuanci.
• Střední – stabilně nic nevynechává.
• Chytrý – nejlépe drží hierarchii důležitého.
• Režim promptingu – u velmi velkých výběrů vytahuje to, co lehčí režimy ignorují. Vyplatí se zapnout, když je shrnutí kritické.

Test 4: hlasové příkazy nad kódem a tech komentáři

Tady jsem velmi náročný. Chci, aby technické termíny nebyly přepisovány: kubectl zůstane kubectl, ne „Kubernetes“ atd.

Všechny režimy si s tím poradí slušně – Commander Flow uvnitř používá slovník termínů z nastavení a každý model se mu podřídí. U „Chytrého“ a „Režimu promptingu“ vychází polotovka komentářů čistší a úhlednější, zvlášť když je komentář mix češtiny a latinských identifikátorů.

To je důležitý architektonický bod: Commander Flow není jen obal kolem lokálního modelu, je to vrstva kontroly stylu a terminologie nad ním. Proto i nejlehčí režim dává znatelně lepší výsledek než „holý“ lokální model.

Co jsem si nakonec vybral

Výchozí: Chytrý. Nejlepší kvalita za rozumnou RAM. Pokrývá většinu úkolů – diktování, e-maily, chaty, základní hlasové příkazy nad označeným textem.

Přepínám do Režimu promptingu: když potřebuji složitý vícekrokový příkaz nad označeným textem, dlouhá shrnutí, jemnou stylistiku. Tam pracuje největší model.

Přepínám na Lehký: když jsem na cestách na baterii. Spotřeba je nižší, kvalita základní – ale e-mail mámě se stejně vyleští dobře.

Zesílená polotovka je moje volba, když sedím a rychle diktuju spoustu krátkých zpráv do chatů. Odzývavě a kvalitně.

Vypnuto nechávám pro krajní případ, kdy potřebuju holý speech-to-text bez zpracování (například dump nápadů do souboru).

Co to mění v produktu

Možnost přepínat režimy přímo v liště bez restartu aplikace je obrovská svoboda. Můžu nástroj přizpůsobit aktuálnímu úkolu doslova dvěma kliky.

Commander Flow je zjevně dělaný s tím, že lokální modely se budou neustále aktualizovat a uživatel nemá záviset na tom, co bylo nové v okamžiku koupě. Tým pravidelně dotahuje nové architektury do režimů, jakmile se objeví.

„Dobrý AI software stárne pomaleji než hardware. Commander Flow je tenhle případ.“

Na co si dát pozor

Přepínání režimů vyžaduje načtení. Z těžkého na lehký – téměř okamžitě. Zpátky – pár vteřin na načtení z disku. Vzácná operace, ale když chceš „rychle si zkusit jiný“, vydrž.

Velikost na disku. Všechny komponenty režimů dohromady zaberou výrazný kus disku. Nepoužívané se dají vyklidit z nastavení, ale při prvním kole „pojďme se podívat, co tu je“ to místo překvapí.

Nejsilnější režim potřebuje slušný hardware. Na opravdu starém notebooku Režim promptingu jede pomalu. Pokud je hardware slabý, vystačíte si s Chytrým a níž.

Komu to vlastně bude užitečné

Většina uživatelů režimy přepínat nikdy nezačne. Nainstalují si Commander Flow, uvidí, že „Chytrý“ funguje skvěle – a budou spokojení.

Ale pro ty, kdo chtějí prozkoumat, tady je co prozkoumávat, a vyplatí se to. Vlastní setup jsem si poskládal, mezi režimy přepínám podle kontextu – a působí to jako velmi zralá práce produktového týmu.

Jdu dál pracovat v Chytrém. A píšu další článek.