LLMs locais: comparação dos modos de polimento de texto

Uma das coisas pelas quais gosto do Commander Flow — não me prende a uma única configuração. No tray, num clique, escolho o modo conforme a tarefa: do polimento leve com bateria à mais potente para trabalho sério com texto seleccionado. É raro em aplicações de IA para utilizador final.

Sou um utilizador curioso, por isso em abril testei todos os modos nas minhas tarefas reais. Partilho qual escolho em cada momento.

Que modos existem

No tray são seis. Sem números de RAM nem detalhes técnicos: simplesmente seis pontos numa escala «quão profundamente processar o texto». Desde «não toques» (só ditado) até «passa pelo modelo maior e dá-me um resultado denso».

Experimentei cada um nas minhas tarefas. Partilho o que serve para o quê.

Teste 1: polimento de ditado normal

Ditei dezenas de fragmentos «como fala viva» — com muletas, falsos arranques, mudanças de ideia a meio. Avaliei subjectivamente: até que ponto o modo limpava as muletas, punha pontuação e mantinha a minha entoação.

• Leve — dá conta de tudo o que falo depressa e por hábito. Às vezes deixa uma vírgula a mais.
• Médio — passo claro à frente em «humanidade» do polimento. Bom meio-termo para portátil sem GPU.
• Inteligente — o melhor equilíbrio. O texto soa como se eu o tivesse escrito com cuidado.
• Polimento reforçado — não é o mais «profundo», mas é o mais responsivo em velocidade. Boa opção quando dito muitas mensagens curtas.

Conclusão deste teste: para o ditado do dia-a-dia, a «Inteligente» foi a melhor — desde que o hardware aguente. Em portáteis mais fracos, o «Médio» e o «Leve» fazem um trabalho com qualidade.

Teste 2: comando de voz sobre texto seleccionado em português → traduzir e reescrever em estilo

É o cenário mais difícil: dito em português, selecciono o que escrevi e por voz peço «traduz para alemão, em estilo formal». O modo tem de traduzir e reescrever no estilo certo, mantendo os factos.

• Leve, Médio — dão conta de frases curtas. Em frases longas perdem por vezes o idiomatismo.
• Inteligente — sustenta o estilo business em várias línguas de forma estável. A minha escolha para emails.
• Modo de prompting — o melhor em comandos de voz complexos do tipo «traduz em estilo formal, tratamento a uma senhora, acrescenta um parágrafo final a pedir confirmação». Quando a instrução é em camadas — passo para aqui.

Teste 3: texto longo seleccionado (documentação ~1700 palavras)

Carga sobre a capacidade do modelo de manter contexto. Seleccionei um pedaço grande de documentação e pedi por voz «faz um resumo em cinco pontos, destaca os números».

• Leve — dá conta, mas às vezes perde nuance nos parágrafos «mais distantes».
• Médio — não perde nada, de forma estável.
• Inteligente — é a que melhor mantém a hierarquia do que é importante.
• Modo de prompting — em selecções muito grandes, recupera o que os modos mais leves ignoram. Vale a pena ligar quando o resumo é crítico.

Teste 4: comandos de voz sobre código e comentários técnicos

Sou muito exigente neste cenário. Quero que os termos técnicos não sejam reescritos: kubectl fica kubectl, e não «Kubernetes», e por aí adiante.

Todos os modos lidam com isto adequadamente — o Commander Flow usa internamente o dicionário de termos das definições, e qualquer modelo lhe obedece. Em «Inteligente» e em «Modo de prompting» o polimento dos comentários sai mais limpo e cuidado, sobretudo em comentários mistos (português + identificadores em inglês).

Este é um detalhe arquitectural importante: o Commander Flow não é apenas um wrapper sobre um modelo local, é uma camada de controlo de estilo e de terminologia por cima dele. Por isso, mesmo o modo mais leve dá um resultado claramente melhor do que um modelo local «nu».

O que escolhi no fim

Por defeito: Inteligente. Melhor qualidade para a RAM razoável. Cobre a maioria das tarefas — ditado, emails, chats, comandos de voz básicos sobre selecção.

Mudo para o Modo de prompting: quando preciso de um comando complexo, em várias etapas, sobre texto seleccionado, resumos longos, estilo subtil. É lá que corre o modelo maior.

Mudo para Leve: em viagem, com bateria. O consumo cai, a qualidade é base — mas o email à mãe sai polido na mesma.

Polimento reforçado — a minha escolha quando estou a despachar muitas mensagens curtas em chats. Responsivo e com qualidade.

Desligado — guardo para casos extremos, quando preciso só de speech-to-text cru sem processamento (por exemplo, despejar ideias num ficheiro).

O que isto muda no produto

Poder mudar de modo no tray, sem reiniciar a aplicação, é uma enorme liberdade. Adapto a ferramenta à tarefa do momento literalmente em dois cliques.

O Commander Flow é construído claramente a contar com que os modelos locais vão actualizar-se constantemente, e o utilizador não deve ficar refém do que era novo no momento da compra. A equipa puxa regularmente arquitecturas novas para dentro dos modos à medida que vão saindo.

«Bom software de IA envelhece mais devagar do que o hardware. O Commander Flow é desse tipo.»

Coisas a ter em conta

Mudar de modo exige carregar o novo. De pesado para leve — quase instantâneo. Ao contrário — alguns segundos a carregar do disco. É uma operação rara, mas se quiseres «testar rapidamente outro» — paciência.

Espaço em disco. Os componentes de todos os modos juntos ocupam um pedaço considerável do disco. Pode-se limpar nas definições os que não se usam, mas no «vamos ver o que existe» inicial — surpreende.

O modo mais potente exige hardware decente. Em portátil muito antigo o Modo de prompting fica lento. Se o hardware é fraco — ficamos pelo Inteligente ou abaixo.

Para quem é mesmo isto

A maioria dos utilizadores nunca vai mexer nos modos. Vão instalar o Commander Flow, ver que «Inteligente» funciona muito bem — e ficar contentes.

Mas para quem quiser mergulhar — há onde mergulhar, e mergulhar compensa. Montei a minha config, troco de modo conforme o contexto — e sente-se um trabalho de equipa de produto muito maduro.

Volto ao trabalho em Inteligente. E vou escrever o próximo artigo.