Lokalna AI do tekstu: praca bez wycieków i jej prawdziwa cena

Ktoś wkleja projekt umowy do chmurowego czatu i prosi o wygładzenie sformułowań. Cztery sekundy i wynik jest dobry. Właśnie w tym momencie doszło do wycieku i nikt w pokoju tego nie zauważył, bo wyciek nijak nie wygląda.

To nie jest tekst o straszeniu. Dostawcy chmurowi nie czytają twoich umów dla przyjemności. Ale „nie uczymy się na twoich danych" to obietnica o zamiarach, a nie stwierdzenie o miejscu. Gdy tekst znalazł się na cudzym dysku, w cudzej jurysdykcji, w cudzej kopii zapasowej — to już nie ty decydujesz, co się z nim stanie. Przy liście zakupów nikogo to nie obchodzi. Przy aktach klienta to jest całe pytanie.

„Lokalnie" znaczy trzy różne rzeczy

Słowo używane jest swobodnie, a różnice są istotne.

• Lokalny interfejs, chmurowy mózg. Program na komputerze, ale każde zapytanie jedzie na serwer. Większość „asystentów AI" jest tak zbudowana. Ryzyko dokładnie takie samo jak przy karcie w przeglądarce, tylko przyciski ładniejsze.
• Lokalnie domyślnie, chmura na żądanie. Działa offline, ale wybrane zadania oddaje zewnętrznemu modelowi. W porządku — jeśli dokładnie wiesz które.
• Naprawdę lokalnie. Plik modelu leży na twoim dysku, obróbka idzie na twoim procesorze, a wyciągnięty kabel niczego nie zmienia.

Uczciwa cena trzeciej opcji

Robię narzędzie właśnie z tej trzeciej kategorii — więc wady wymienię sam, zamiast zostawiać to recenzentom.

Pierwsze pobranie około półtora gigabajta. Model musi raz fizycznie przyjechać na twoją maszynę. Potem już nic.

Kilka gigabajtów pamięci RAM, na stałe. Mały model potrzebuje mniej więcej 4–8 GB wolnych. Na maszynie z ośmioma gigabajtami w sumie to będzie odczuwalne.

Słabszy mózg. To jest prawdziwy kompromis i warto powiedzieć o nim wprost. Model mieszczący się w laptopie nie dorówna temu, który chodzi na szafie akceleratorów. Poproś go o rozumowanie na stustronicowym dokumencie, a cię rozczaruje.

Pomysł ratuje to, że większość zadań tekstowych dużego mózgu nie potrzebuje. Oczyścić dopiero co podyktowane, skrócić akapit o połowę, poprawić gramatykę, przetłumaczyć wiadomość, przepisać zdanie łagodniej — z tym małe modele radzą sobie dziś naprawdę dobrze. A zadania, w których chmura wciąż jest wyraźnie lepsza, zwykle i tak nie dotyczą poufnego tekstu.

Sprawdzian na dwie minuty

Nie wierz na słowo nikomu, mnie też nie. Zainstaluj narzędzie, a potem wyłącz Wi-Fi i wyciągnij kabel. I skorzystaj z tej funkcji, dla której to instalowałeś.

Działa przy martwej sieci — obróbka jest na twojej maszynie. Kręci się, wyrzuca błąd albo po cichu słabnie — twój tekst gdzieś jeździł. Żadna reklamowa formułka tego sprawdzianu nie przetrwa, a zajmuje on dwie minuty.

Jedno zastrzeżenie, żeby test był uczciwy: wiele lokalnych programów przy pierwszym uruchomieniu sprawdza licencję albo dociąga model. Testuj od drugiego uruchomienia, po zakończonej instalacji. Sprawdzasz, czy wyjeżdża twój tekst, a nie czy program w ogóle łączy się z internetem.

Co z tego wynika

Jeśli w twojej pracy jest tekst należący do innych ludzi — klientów, pacjentów, pracowników, pracodawcy z NDA — rachunek jest prosty, bo ceną błędu nie jest „trochę gorszy wynik", tylko ujawnienie, którego nie da się cofnąć.

Jeśli tekst jest twój własny, bierz to, co działa lepiej. Lokalny model do życzeń urodzinowych nikomu nie jest potrzebny.

FAQ

Jak upewnić się, że narzędzie jest naprawdę lokalne?

Odłącz sieć przy drugim uruchomieniu i popracuj. Działa — lokalne. Odpadło — nie.

Czy lokalny model jest dużo słabszy?

Do poprawiania gotowego tekstu — nie. Do długiego rozumowania na dużych dokumentach — tak, wyraźnie.

Jaki sprzęt jest potrzebny?

Około 4–8 GB wolnej pamięci i zwykły współczesny procesor. Karta graficzna pomaga, ale nie jest konieczna.