Локальный ИИ для текста: работа без утечек и её настоящая цена

Человек вставляет черновик договора в облачный чат и просит причесать формулировки. Четыре секунды — и результат хороший. Вот в этот момент и произошла утечка, и никто в комнате её не заметил, потому что утечка никак не выглядит.

Это не текст про страшилки. Облачные провайдеры не читают ваши договоры на досуге. Но «мы не обучаемся на ваших данных» — это обещание о намерениях, а не утверждение о местонахождении. Как только текст оказался на чужом диске, в чужой юрисдикции, внутри чужого бэкапа — вы больше не решаете, что с ним будет. Для списка покупок это неважно. Для клиентского дела это и есть весь вопрос.

«Локально» означает три разные вещи

Слово используют вольно, а разница существенная.

• Локальный интерфейс, облачный мозг. Программа на компьютере, но каждый запрос уезжает на сервер. Большинство «ИИ-ассистентов» устроены так. Риск ровно тот же, что у вкладки в браузере, только кнопки красивее.
• Локально по умолчанию, облако по требованию. Работает офлайн, но отдельные задачи отдаёт внешней модели. Нормально — если вы точно знаете, какие именно.
• По-настоящему локально. Файл модели лежит у вас на диске, обработка идёт на вашем процессоре, и выдернутый кабель ничего не меняет.

Честная цена третьего варианта

Я делаю инструмент как раз из третьей категории — поэтому недостатки перечислю сам, а не оставлю это обзорщикам.

Первая загрузка примерно на полтора гигабайта. Модель обязана один раз физически приехать к вам на машину. Дальше — ничего.

Несколько гигабайт оперативной памяти, постоянно. Небольшой модели нужно примерно 4–8 ГБ свободных. На машине с восемью гигабайтами в сумме это будет заметно.

Более слабый мозг. Вот это и есть настоящий размен, и о нём стоит говорить прямо. Модель, помещающаяся в ноутбук, не ровня той, что крутится на стойке ускорителей. Попросите её порассуждать по стостраничному документу — и она вас разочарует.

Идею спасает то, что большинству текстовых задач большой мозг не нужен. Почистить только что надиктованное, вдвое сократить абзац, поправить грамматику, перевести сообщение, переписать фразу помягче — с этим маленькие модели сегодня справляются по-настоящему хорошо. А задачи, где облако всё ещё явно лучше, обычно и не связаны с конфиденциальным текстом.

Проверка за две минуты

Не верьте на слово никому, включая меня. Поставьте инструмент, потом выключите Wi-Fi и выдерните кабель. И воспользуйтесь той функцией, ради которой ставили.

Работает при мёртвой сети — обработка у вас на машине. Крутится, ошибается или тихо деградирует — ваш текст куда-то ездил. Ни один рекламный текст этой проверки не переживает, а занимает она две минуты.

Одна оговорка, чтобы проверка была честной: многие локальные программы при первом запуске всё же проверяют лицензию или докачивают модель. Проверяйте со второго запуска, когда установка завершена. Вы проверяете, уезжает ли ваш текст, а не то, ходит ли программа в интернет вообще.

Что из этого следует

Если в вашей работе есть текст, принадлежащий другим людям — клиентам, пациентам, сотрудникам, работодателю с NDA — расчёт простой, потому что цена ошибки здесь не «чуть худший результат», а разглашение, которое нельзя отменить.

Если текст ваш собственный — берите то, что лучше работает. Локальная модель для поздравления с днём рождения никому не нужна.

FAQ

Как убедиться, что инструмент действительно локальный?

Отключите сеть на втором запуске и поработайте. Работает — локальный. Отвалился — нет.

Локальная модель сильно слабее?

Для правки готового текста — нет. Для длинных рассуждений по большим документам — да, заметно.

Какое нужно железо?

Около 4–8 ГБ свободной памяти и обычный современный процессор. Видеокарта помогает, но не обязательна.