Paikallinen LLM vertailu: tekstin viimeistelytilat

Yksi asia, josta pidän Commander Flow’ssa, on se, ettei se lukitse minua yhteen kokoonpanoon. Tehtäväpalkista valitaan yhdellä klikkauksella tila kulloiseenkin tehtävään: kevyestä viimeistelystä akkukäytössä aina tehokkaimpaan, joka toimii vakavassa työssä maalatun tekstin kanssa. Tällainen paikallinen LLM vertailu ja vapaa vaihto on harvinaista kuluttajatason AI-sovelluksissa.

Olen utelias käyttäjä, joten huhtikuussa ajoin kaikki tilat läpi omilla todellisilla tehtävilläni. Kerron, minkä tilan valitsen milloinkin.

Mitä tiloja on tarjolla

Tehtäväpalkissa niitä on kuusi. Ilman RAM-lukuja ja teknisiä yksityiskohtia: yksinkertaisesti kuusi pistettä asteikolla ”kuinka syvästi tekstiä käsitellään”. Aivan kevyimmästä ”älä koske ollenkaan” (vain sanelu) raskaimpaan ”aja suurimman mallin läpi ja saa tiivis tulos”.

Kokeilin jokaista omilla todellisilla tehtävilläni. Kerron, mikä sopii mihinkin.

Testi 1: Tavallisen sanelun viimeistely

Sanelin kymmeniä pätkiä ”elävänä puheena” — täytesanoineen, sopimineen ja ajatuksen vaihdoksineen kesken lauseen. Katsoin subjektiivisesti: kuinka luonnollisesti tila siivosi täytteet, asetti välimerkit ja säilytti oman intonaationi.

• Kevyt — selviää kaikesta, mitä puhun nopeasti ja tottumuksesta. Joskus jättää ylimääräisen pilkun.
• Keskitaso — selvä askel eteenpäin viimeistelyn ”inhimillisyydessä”. Hyvä keskitie kannettavalle ilman näytönohjainta.
• Älykäs — paras tasapaino. Teksti kuulostaa siltä, kuin olisin kirjoittanut sen huolellisesti.
• Vahvistettu sanelun viimeistely — ei ”syvällisin” tila, mutta nopein vasteeltaan. Hyvä vaihtoehto, kun sanelet paljon lyhyitä viestejä.

Johtopäätös tästä testistä on yksinkertainen: arkisaneluun toimi parhaiten ”Älykäs”, jos laitteisto sen vetää. Heikommilla kannettavilla ”Keskitaso” ja ”Kevyt” tekevät laadukasta jälkeä.

Testi 2: Äänikomento maalatulle suomenkieliselle tekstille → käännös ja uudelleenkirjoitus tyyliin

Tämä on monimutkaisin skenaario: sanelen suomeksi, maalaan oman tekstini ja pyydän äänellä ”käännä saksaksi, asiatyyliin”. Tilan tulee sekä kääntää että kirjoittaa uudelleen halutussa tyylissä, ja säilyttää faktat.

• Kevyt, Keskitaso — selviävät lyhyistä lauseista. Pitkillä joskus kadottavat sanonnan.
• Älykäs — vetää vakaasti business-tyylin useilla kielillä. Valintani sähköposteihin.
• Promptaus-tila — paras monimutkaisissa äänikomennoissa, kuten ”käännä muodolliseen tyyliin, naispuoliselle vastaanottajalle, lisää loppukappale jossa pyydetään vahvistus”. Kun ohje on monikerroksinen — vaihdan tähän.

Testi 3: Pitkä maalattu teksti (dokumentaatio ~1700 sanaa)

Tämä kuormittaa mallin kykyä pitää konteksti hallussa. Maalasin ison palan dokumentaatiota ja pyysin äänellä ”tee viiden kohdan tiivistelmä, korosta numerot”.

• Kevyt — selviää, mutta kadottaa joskus vivahteen ”kaukaisissa” kappaleissa.
• Keskitaso — ei jätä mitään huomaamatta vakaasti.
• Älykäs — pitää tärkeysjärjestyksen parhaiten.
• Promptaus-tila — todella suurissa maalauksissa se nostaa esiin asioita, jotka kevyemmät tilat ohittavat. Kannattaa kytkeä päälle, kun tiivistelmä on kriittinen.

Testi 4: Äänikomennot koodille ja teknisille kommenteille

Olen tässä skenaariossa hyvin vaativa. Haluan, ettei teknisiä termejä kirjoiteta uudelleen: kubectl pysyy kubectl-muodossa, ei muutu ”Kubernetekseksi” jne.

Kaikki tilat selviävät tästä asiallisesti — Commander Flow käyttää sisäisesti asetuksiin tallennettua termisanastoa, ja jokainen malli noudattaa sitä. ”Älykkäässä” ja ”Promptaus-tilassa” kommenttien viimeistely on siistimpää ja huolellisempaa, erityisesti kun kommentti on sekoitus (suomi + latinalaiset tunnisteet).

Tämä on tärkeä arkkitehtuurinen seikka: Commander Flow ei ole vain kääre paikallisen mallin päällä, vaan tyyli- ja terminologiavalvonnan kerros sen yllä. Siksi jopa kevyin tila tuottaa selvästi paremman tuloksen kuin ”paljas” paikallinen malli sellaisenaan.

Mitä lopulta valitsin

Oletus: Älykäs. Paras laatu järkevällä RAM-määrällä. Kattaa suurimman osan tehtävistä — sanelun, sähköpostit, chatit ja perustason äänikomennot maalatulle tekstille.

Vaihdan Promptaus-tilaan: kun tarvitaan monimutkainen monivaiheinen komento maalatulle tekstille, pitkät tiivistelmät tai hieno tyylivirittely. Siellä toimii suurin malli.

Vaihdan Kevyeen: kun olen tien päällä akkukäytössä. Energiankulutus on alhaisempi, laatu peruslaatua — mutta sähköposti äidille viimeistellään silti hyvin.

Vahvistettu viimeistely — valintani, kun istun ja sanelen nopeasti paljon lyhyitä chat-viestejä. Vasteet ovat nopeita ja laatu kohdallaan.

Pois päältä — jätän äärimmäistä tilannetta varten, kun tarvitsen paljaan speech-to-textin ilman mitään käsittelyä (esimerkiksi ajatuksia tiedostoon).

Mitä tämä muuttaa tuotteessa

Mahdollisuus vaihtaa tiloja suoraan tehtäväpalkista ilman sovelluksen uudelleenkäynnistystä on valtava vapaus. Voin sopeuttaa työkalun nykyiseen tehtävääni kirjaimellisesti kahdella klikkauksella.

Commander Flow on selvästi tehty siitä lähtökohdasta, että paikalliset mallit päivittyvät jatkuvasti, eikä käyttäjän tule olla riippuvainen siitä, mikä oli uutta ostohetkellä. Tiimi tuo uusia arkkitehtuureja tilojen sisälle sitä mukaa kun niitä ilmestyy.

”Hyvä AI-ohjelmisto vanhenee hitaammin kuin laitteisto. Commander Flow on tämä tapaus.”

Mihin kannattaa kiinnittää huomiota

Tilojen välinen vaihto vaatii latauksen. Raskaasta kevyeen — lähes välittömästi. Toiseen suuntaan — muutama sekunti levyltä lataukseen. Tämä on harvinainen toimenpide, mutta jos haluat ”nopeasti kokeilla toista” — kestä hetki.

Levytila. Kaikki tilojen komponentit yhdessä vievät tuntuvan palan levyä. Käyttämättömät voi siivota asetuksista, mutta ensimmäisellä kierroksella ”katsotaan mitä on” — tila yllättää.

Tehokkain tila vaatii kunnon laitteistoa. Aivan vanhalla kannettavalla Promptaus-tila on hidas. Jos laitteisto on heikko — joutuu pärjäämään Älykkäällä tai sitä alemmalla.

Kenelle tämä yleensäkin on tarpeen

Useimmat käyttäjät eivät koskaan vaihda tiloja. He asentavat Commander Flow’n, näkevät että ”Älykäs” toimii erinomaisesti — ja ovat tyytyväisiä.

Mutta niille, jotka haluavat kaivautua syvemmälle — tässä on mihin kaivautua, ja kaivaminen kannattaa. Kokoelmani on koottu, vaihtelen tilojen välillä kontekstin mukaan — ja tämä tuntuu erittäin kypsältä tuotetiimin työltä.

Jatkan työtä Älykkäässä. Ja kirjoitan seuraavan artikkelin.