Lokalne LLM: porównanie trybów polerowania tekstu

Jedną z rzeczy, za które kocham Commander Flow, jest to, że nie zamyka mnie w jednej konfiguracji. W zasobniku jednym kliknięciem wybiera się tryb pod aktualne zadanie: od lekkiego polerowania na baterii do najmocniejszego do poważnej pracy z zaznaczonym tekstem. To rzadkość w konsumenckich aplikacjach AI.

Jestem ciekawskim użytkownikiem, więc przez kwiecień przegoniłem wszystkie tryby przez swoje realne zadania. Dzielę się, który kiedy wybieram.

Jakie są tryby

W zasobniku jest ich sześć. Bez liczb RAM-u i technicznych szczegółów: po prostu sześć punktów na skali „jak głęboko obrabiać tekst”. Od „nie ruszaj w ogóle” (tylko dyktowanie) do „przepuść przez największy model i dostań gęsty wynik”.

Wypróbowałem każdy na swoich realnych zadaniach. Dzielę się, co pasuje do czego.

Test 1: Polerowanie zwykłego dyktowania

Podyktowałem dziesiątki fragmentów „jak żywa mowa” — ze słowami-pasożytami, wtrąceniami, zmianami myśli w środku. Patrzyłem subiektywnie: na ile naturalnie tryb wyczyścił fillery, postawił interpunkcję i zachował moją intonację.

• Lekka — radzi sobie ze wszystkim, co mówię szybko i nawykowo. Czasem zostawia zbędny przecinek.
• Średnia — wyraźny krok naprzód w „ludzkości” polerowania. Dobry środek dla laptopa bez karty graficznej.
• Inteligentna — najlepszy balans. Tekst brzmi tak, jakbym starannie go napisał.
• Wzmocnione polerowanie — nie najgłębszy tryb, ale najbardziej responsywny pod względem prędkości. Dobra opcja, kiedy dyktujesz dużo małych wiadomości.

Wniosek z tego testu jest prosty: do codziennego dyktowania najlepiej sprawdziła się „Inteligentna”, jeśli sprzęt ją pociągnie. Na słabszych laptopach jakościowo działają „Średnia” i „Lekka”.

Test 2: Komenda głosowa nad zaznaczonym polskim tekstem → tłumaczenie i przepisywanie w stylu

To najtrudniejszy scenariusz: dyktuję po polsku, zaznaczam swój tekst i głosem proszę „przetłumacz na niemiecki, w stylu biznesowym”. Tryb musi i przetłumaczyć, i przepisać w odpowiednim stylu, zachowując fakty.

• Lekka, Średnia — radzą sobie z krótkimi frazami. Na długich czasem tracą idiom.
• Inteligentna — stabilnie wyciąga business-styl w kilku językach. Mój wybór do maili.
• Tryb promptowania — najlepszy przy złożonych komendach głosowych typu „przetłumacz w formalnym stylu, zwroty do kobiety, dodaj końcowy akapit z prośbą o potwierdzenie”. Kiedy instrukcja jest wielowarstwowa — przełączam się tutaj.

Test 3: Długi zaznaczony tekst (dokumentacja ~1700 słów)

To obciążenie zdolności modelu do utrzymania kontekstu. Zaznaczałem duży kawałek dokumentacji i głosem prosiłem „zrób streszczenie w pięciu punktach, wyróżnij liczby”.

• Lekka — radzi sobie, ale czasem gubi niuanse w „dalszych” akapitach.
• Średnia — stabilnie niczego nie gubi.
• Inteligentna — najlepiej trzyma hierarchię ważności.
• Tryb promptowania — przy bardzo dużych zaznaczeniach wyciąga to, co lżejsze tryby ignorują. Warto go włączać, gdy streszczenie jest krytyczne.

Test 4: Komendy głosowe nad kodem i komentarzami technicznymi

W tym scenariuszu jestem bardzo wymagający. Chcę, żeby techniczne terminy nie były przepisywane: kubectl zostaje kubectl, a nie „Kubernetes”, i tak dalej.

Wszystkie tryby radzą sobie z tym adekwatnie — Commander Flow w środku korzysta ze słownika terminów z ustawień, i każdy model się jemu podporządkowuje. Na „Inteligentnej” i w „Trybie promptowania” polerowanie komentarzy wychodzi czyściej i staranniej, szczególnie kiedy komentarz jest mieszany (polski + łacińskie identyfikatory).

To istotny moment architektoniczny: Commander Flow to nie tylko nakładka wokół lokalnego modelu, to warstwa kontroli stylu i terminologii nad nim. Dlatego nawet najlżejszy tryb daje wynik o niebo lepszy niż „goły” lokalny model w czystej postaci.

Co ostatecznie wybrałem

Domyślnie: Inteligentna. Najlepsza jakość za rozsądny RAM. Pokrywa większość zadań — dyktowanie, maile, czaty, podstawowe komendy głosowe nad zaznaczonym tekstem.

Przełączam w Tryb promptowania: kiedy potrzebna jest złożona, wieloetapowa komenda nad zaznaczonym tekstem, długie streszczenia, subtelna stylistyka. Tam działa największy model.

Przełączam na Lekką: kiedy jestem w drodze na baterii. Zużycie energii niższe, jakość podstawowa — ale mail do mamy i tak wypoleruje się dobrze.

Wzmocnione polerowanie — mój wybór, kiedy siedzę i szybko dyktuję dużo krótkich wiadomości do czatów. Responsywnie i jakościowo.

Wyłączone — zostawiam na ostateczność, kiedy potrzebny jest goły speech-to-text bez żadnej obróbki (na przykład zrzut pomysłów do pliku).

Co to zmienia w produkcie

Możliwość przełączania trybów wprost z zasobnika bez restartu aplikacji to ogromna swoboda. Mogę dopasować narzędzie do bieżącego zadania dosłownie w dwa kliknięcia.

Commander Flow jest jawnie projektowany z myślą o tym, że lokalne modele będą się stale aktualizować, a użytkownik nie powinien zależeć od tego, co było nowe w momencie zakupu. Zespół regularnie podciąga nowe architektury wewnątrz trybów w miarę ich pojawiania się.

„Dobry AI-soft starzeje się wolniej niż sprzęt. Commander Flow to ten przypadek.”

Na co warto zwrócić uwagę

Przełączanie między trybami wymaga doładowania. Z ciężkiego trybu na lekki — niemal natychmiast. Z powrotem — kilka sekund na ładowanie z dysku. To rzadka operacja, ale jeśli chcesz „szybko spróbować innego” — uzbrój się w cierpliwość.

Rozmiar na dysku. Wszystkie komponenty trybów razem zajmują znaczący kawałek dysku. Można wyczyścić nieużywane z ustawień, ale przy pierwszej rundzie „spójrzmy, co tu jest” — miejsce się dziwi.

Najmocniejszy tryb wymaga przyzwoitego sprzętu. Na bardzo starym laptopie Tryb promptowania działa wolno. Jeśli sprzęt jest słaby — trzeba poradzić sobie z Inteligentną albo niżej.

Komu to w ogóle potrzebne

Większość użytkowników nigdy nie zacznie przełączać trybów. Postawią Commander Flow, zobaczą że „Inteligentna” działa świetnie — i będą szczęśliwi.

Ale dla tych, którzy chcą pogrzebać — jest tu gdzie kopać, i kopanie się opłaca. Złożyłem swój konfig, przełączam się między trybami zależnie od kontekstu — i odczuwa się to jako bardzo dojrzała praca zespołu produktowego.

Idę dalej pracować w Inteligentnej. I piszę następny artykuł.