O que muda quando a IA de vendas roda no Android, sem depender da nuvem?

Em um projeto de assistente comercial para pequenos negócios, a arquitetura parecia simples: receber uma pergunta, consultar as informações do vendedor e sugerir a resposta. O desafio real foi fazer isso no próprio telefone, com latência tolerável e sem transformar um modelo de linguagem em fonte de preços inventados.

Este é um relato técnico das decisões, não uma promessa de desempenho nem um tutorial de integração oficial com WhatsApp.

1. Primeiro: separar fatos de geração

A resposta precisa partir de informações que o próprio vendedor cadastrou, como catálogo, disponibilidade, formas de pagamento e condições de entrega. Se o dado não está disponível, o comportamento seguro não é preencher a lacuna com uma resposta plausível.

Uma implementação robusta usa etapas independentes:

  1. Identificar a intenção da mensagem e o contexto da conversa.
  2. Recuperar apenas os fatos relevantes do negócio.
  3. Compor um rascunho com o modelo local.
  4. Validar preços, estoque e afirmações sensíveis contra a fonte cadastrada.
  5. Exigir aprovação humana quando o plano ou a configuração determinarem.

O modelo ajuda a redigir, mas não deve ser o banco de dados nem a autoridade sobre o que pode ser prometido.

2. O tamanho do modelo não é a única variável de latência

No nosso estudo de execução local, testamos um modelo de aproximadamente 1,2 bilhão de parâmetros com quantização de quatro bits, ocupando cerca de 664 MB em arquivo. Em medições internas em um aparelho POCO com quatro threads, algumas inferências levaram aproximadamente 4,8 a 10,4 segundos. São resultados de laboratório de uma configuração específica, não um SLA nem um benchmark universal.

A experiência depende também do tamanho do contexto, recuperação de conhecimento, aquecimento da sessão, disputa com tarefas em segundo plano e temperatura do aparelho. Não adianta medir apenas tokens por segundo e ignorar o tempo até o primeiro texto útil.

3. Quantização economiza memória, mas não corrige lógica

Quantizar pode viabilizar a instalação do modelo em aparelhos intermediários. Porém, as regras de negócio precisam existir fora do texto gerado: uma checagem de preço deve comparar com valores cadastrados, não perguntar ao mesmo modelo se ele 'acha' que acertou.

O mesmo vale para reenvio e mensagens duplicadas. A identidade da mensagem, o estado de aprovação e a decisão de envio devem ser controlados por uma camada transacional independente da inferência.

4. Android offline não significa atendimento 24h garantido

Há uma diferença importante entre geração de resposta sem serviço de IA na nuvem e entrega contínua de mensagens. A segunda depende de conexão, permissões, estado do telefone e restrições de bateria e execução em segundo plano.

Um produto responsável precisa explicar essa limitação ao usuário e não anunciar um atendimento ininterrupto sem condições.

5. O fator mais subestimado: abstinência

Quando faltam dados de estoque, preço ou prazo, uma resposta como 'preciso confirmar essa informação' costuma ser melhor que uma conclusão confiante. Isso reduz risco comercial e simplifica a auditoria.

Também ajuda separar no produto a revisão humana da automação: no plano gratuito da Ava SDR, a pessoa aprova as mensagens antes do envio; opções autônomas pertencem ao plano Pro.

6. Checklist para avaliar sua arquitetura

  • O preço é validado por dados estruturados, além do prompt?
  • Existe uma trilha audível de aprovação e tentativa de envio?
  • A aplicação sabe não responder quando faltam fatos?
  • Uma falha de rede gera reenvio apenas quando há prova de que o primeiro envio não ocorreu?
  • O material de marketing distingue demonstração, benchmark e comportamento real?
  • O usuário entende as dependências de internet, permissões e bateria?

O aprendizado principal foi colocar as regras verificáveis ao redor do modelo, em vez de tentar resolvê-las com mais instruções de prompt.

Transparência: participo do desenvolvimento da Ava SDR, aplicativo Android de apoio a vendas. Este texto compartilha decisões e limites técnicos; não representa integração oficial com o WhatsApp, nem garante resultados comerciais. Conheça o aplicativo e seus planos.