Cache híbrido reduz uso de memória
A Uber redesenhou seu cache de traduções em Go para reduzir em mais de 90% o consumo inicial de memória sem perder eficiência. A arquitetura híbrida mantém chaves e valores acessados com frequência na memória e armazena os demais valores em disco. O sistema atende milhões de traduções por segundo, com taxa de acerto superior a 99,9%.
Alocações pressionavam a coleta de lixo
O perfilamento de serviços da empresa mostrou que a coleta de lixo consumia mais de 20% da CPU em alguns casos, enquanto as traduções respondiam por cerca de 70% dos objetos alocados. Como primeira otimização, a equipe substituiu sync.Map por um map[string]string protegido por RWMutex, adequado ao padrão de muitas leituras e poucas atualizações do serviço.
Uma primeira mudança não bastou
A troca reduziu objetos e ponteiros criados para cada tradução e levou a uma melhora superior a 30% na utilização de CPU no serviço afetado. Ainda assim, conjuntos com dois a três milhões de chaves mantinham um custo elevado, embora cada serviço normalmente acessasse apenas uma pequena parte delas. Atualizações do cache também podiam manter duas cópias na memória ao mesmo tempo.
Valores pouco usados vão para disco
Para evitar esse pico durante atualizações, a Uber adotou o armazenamento híbrido mantendo a mesma API Get() e Put(). Todas as chaves continuam disponíveis na memória para buscas rápidas, enquanto os valores das traduções ficam em arquivos respaldados por disco. A empresa considerou cache externo e subconjuntos específicos por serviço, mas essas opções trariam custos adicionais de operação ou manutenção.
Divisão em fragmentos e gestão de acesso
A implementação distribui os dados por 256 fragmentos, cada um com seu próprio bloqueio de leitura e escrita, entradas em memória e arquivo em disco. Chaves baseadas em hashes de seis bytes reduzem o custo de metadados, com retorno ao formato original para lidar com colisões. Uma política global de LRU baseada no tempo mantém os itens usados com maior frequência.
Atualizações preservam dados recentes
Antes de trocar o cache, o serviço usa o histórico de acessos para carregar previamente as traduções consultadas nos 15 minutos anteriores, evitando que a nova versão comece sem dados frequentes. Em um exemplo, um conjunto que antes ocupava cerca de 800 MB passou a exigir aproximadamente 40 MB de metadados; com limite de 50 mil itens em memória, o uso real ficou entre 80 MB e 120 MB.
Métricas orientam a escolha da arquitetura
Em outra carga relatada pela Uber, cerca de 30 mil de mais de quatro milhões de entradas ficaram na memória, com taxa de acerto acima de 99,9%. A latência p99 para falhas de cache atendidas pelo disco permaneceu abaixo de 100 microssegundos. Em outro resultado divulgado, o uso de memória caiu de aproximadamente 2,7 GB para 750 MB. A experiência reforça a recomendação de reduzir referências de objetos e medir a frequência de acesso antes de manter grandes conjuntos inteiros em memória.
Confira mais em: https://guiadeti.com.br/noticias/uber-reduz-memoria-inicial-de-cache-de-traducoes-em-go/

