Локальні LLM: порівняння режимів полірування тексту

Одна з речей, за яку я люблю Commander Flow — він не замикає мене в одну конфігурацію. У треї одним кліком обирається режим під поточну задачу: від легкого полірування на батарейці до найпотужнішого для серйозної роботи з виділеним текстом. Це рідкість у споживчих AI-застосунках.

Я користувач допитливий, тому за квітень погоняв усі режими своїми реальними задачами. Ділюся, який коли обираю.

Які режими є

У треї їх шість. Без RAM-цифр і технічних подробиць: просто шість точок на шкалі «наскільки глибоко обробляти текст». Від «не чіпати взагалі» (лише диктування) до «прогнати через найбільшу модель і отримати щільний результат».

Я спробував кожен на своїх реальних задачах. Ділюся, що підходить для чого.

Тест 1: Полірування звичайного диктування

Я надиктував десятки фрагментів «як жива мова» — зі словами-паразитами, обмовками, зміною думки посередині. Дивився суб'єктивно: наскільки природно режим почистив філери, розставив пунктуацію та зберіг мою інтонацію.

• Легка — справляється з усім, що я говорю швидко і звично. Інколи залишає зайву кому.
• Середня — помітний крок уперед за «людяністю» полірування. Хороша середина для ноутбука без відеокарти.
• Розумна — найкращий баланс. Текст звучить наче я ретельно його написав.
• Посилене полірування — не найглибший режим, але найвідгукливіший за швидкістю. Хороший варіант, коли диктуєш багато дрібних повідомлень.

Висновок за цим тестом простий: для повсякденного диктування найкраще себе показала «Розумна», якщо її тягне залізо. На слабкіших ноутбуках якісно працюють «Середня» та «Легка».

Тест 2: Голосова команда над виділеним українським текстом → переклад і переписати в стилі

Це найскладніший сценарій: я диктую українською, виділяю свій текст і голосом прошу «переклади німецькою, у діловому стилі». Режим повинен і перекласти, і переписати в потрібному стилі, зберігаючи факти.

• Легка, Середня — справляються з короткими фразами. На довгих часом губляють ідіому.
• Розумна — стійко витягує business-стиль кількома мовами. Мій вибір для листів.
• Режим промптингу — найкращий на складних голосових командах на кшталт «переклади у формальному стилі, звертання до жінки, додай фінальний абзац з проханням про підтвердження». Коли інструкція багатошарова — перемикаюся сюди.

Тест 3: Довгий виділений текст (документація ~1700 слів)

Це навантаження на здатність моделі тримати контекст. Я виділяв великий шматок документації та голосом просив «зроби саммарі в п'яти пунктах, виділи цифри».

• Легка — справляється, але інколи упускає нюанс на «дальніх» абзацах.
• Середня — стабільно нічого не упускає.
• Розумна — найкраще тримає ієрархію важливого.
• Режим промптингу — на дуже великих виділеннях він витягує те, що легші режими ігнорують. Варто вмикати, коли саммарі критичне.

Тест 4: Голосові команди над кодом і тех-коментарями

Я дуже вимогливий у цьому сценарії. Хочу, щоб технічні терміни не переписувалися: kubectl залишається kubectl, а не «Kubernetes», і так далі.

Усі режими справляються з цим адекватно — Commander Flow усередині використовує словник термінів із налаштувань, і будь-яка модель йому підкоряється. На «Розумній» і в «Режимі промптингу» полірування коментарів виходить чистіше та охайніше, особливо коли коментар змішаний (українська + латинські ідентифікатори).

Це важливий архітектурний момент: Commander Flow — це не просто обгортка довкола локальної моделі, це шар контролю стилю та термінології поверх неї. Тому навіть найлегший режим дає результат на голову кращий, ніж «гола» локальна модель у чистому вигляді.

Що я в підсумку обрав

Дефолт: Розумна. Найкраща якість за розумну RAM. Покриває більшість задач — диктування, листи, чати, базові голосові команди над виділеним текстом.

Перемикаю в Режим промптингу: коли потрібна складна багатокрокова команда над виділеним текстом, довгі саммарі, тонка стилістика. Там працює найбільша модель.

Перемикаю на Легку: коли я в дорозі на батареї. Енергоспоживання нижче, якість базова — але лист мамі все одно відполірується добре.

Посилене полірування — мій вибір, коли сиджу й швидко надиктовую багато коротких повідомлень у чати. Відгукливо та якісно.

Вимкнено — залишаю на крайній випадок, коли потрібен голий speech-to-text без жодної обробки (наприклад, дамп ідей у файл).

Що це змінює в продукті

Можливість перемикати режими просто в треї без перезапуску застосунку — це величезна свобода. Я можу адаптувати інструмент під поточну задачу буквально за два кліки.

Commander Flow явно робиться з розрахунку на те, що локальні моделі постійно оновлюватимуться, і користувач не повинен залежати від того, що було новим у момент покупки. Команда регулярно підтягує нові архітектури всередину режимів у міру їх появи.

«Хороший AI-софт старіє повільніше за залізо. Commander Flow — цей випадок.»

На що варто звернути увагу

Перемикання між режимами потребує підвантаження. З важкого режиму на легкий — майже миттєво. Назад — кілька секунд на завантаження з диска. Це рідкісна операція, але якщо хочеш «швидко спробувати інший» — потерпи.

Розмір на диску. Усі компоненти режимів разом займають істотний шматок диска. Можна вичистити з налаштувань невикористовувані, але при першому раунді «давайте подивимося, що є» — місце дивує.

Найпотужніший режим потребує пристойного заліза. На зовсім старому ноутбуці Режим промптингу працює повільно. Якщо залізо слабке — доведеться обходитися Розумною або нижче.

Кому це взагалі потрібно

Більшість користувачів ніколи не лізтимуть перемикати режими. Вони поставлять Commander Flow, побачать що «Розумна» працює чудово — і будуть щасливі.

Але для тих, хто хоче копнути — тут є куди копати, і копання себе виправдовує. Я свій конфіг зібрав, перемикаюся між режимами за контекстом — і це відчувається як дуже зріла робота продуктової команди.

Іду далі працювати в Розумній. І пишу наступну статтю.