Quando se fala em “métricas”, geralmente a primeira referência que vem à mente são as métricas digitais. Quantas visualizações de página, quantos leitores, quantos curtidores, quantos retuítes.

O trabalho com métricas, porém, vai muito além da mensuração digital. Martin Klubeck, autor de “Métricas – como melhorar os resultados de sua empresa” (Novatec, 2012), acredita que, tendo um objetivo definido e fazendo as perguntas certas, é possível medir qualquer tipo de resultado.

Para deixar claro o seu ponto, Klubeck faz uma metáfora atualizando a fábula dos Três Porquinhos. O lobo mau da vez é o peso, e dado o mesmo diagnóstico – se você não emagrecer, capluft – cada porquinho o enfrentou de uma maneira, com médicos, métodos e resultados diferentes.

O médico do primeiro porquinho disse que ele precisava ter uma vida mais saudável. A dieta inicialmente funcionou, mas sem medir com frequência os resultados para saber como estava indo, só gerou stress e o porquinho acabou morrendo. O segundo porquinho visitou um médico que queria medir seu progresso no peso, pressão sanguínea e colesterol com alguma frequência, mas isso fazia com que o porquinho se refestelasse longe dos olhos do médico e exagerasse na dieta logo antes do exame para ter números bons para apresentar. Como isso não era saudável, o porquinho acabou morrendo. O terceiro porquinho foi a um médico mais rigoroso na medição, mas mais razoável na interpretação dos indicadores.  Ele sabia que a saúde do porquinho era mais importante que os indicadores pelos indicadores. A dieta fez efeito mais devagar, mas fez efeito.

Klubeck, consultor de planejamento estratégico na Universidade Notre Dame, acredita que uma empresa não precisa dispor de exatidão absoluta para utilizar inteligentemente as medições e decidir se está no caminho certo ou não, da mesma maneira como não é preciso fazer eletrocardiogramas mensais num gordinho que busca apenas levar uma vida mais saudável. (É caro demais para pouco efeito prático.) Na maior parte dos casos, trata-se de sistematizar e compreender bem as informações de que já se dispõe.

Um exemplo que o autor usa com frequência é o de um departamento de telemarketing de uma empresa. Na falta de uma régua de medir conversa, como a da charge do craque Flávio Soares que ilustra este post, quais são boas medidas de eficiência desse departamento? Como interpretar essas informações? Klubeck guia o leitor passo a passo nessa interpretação. A maior parte do livro trata de como planejar os indicadores que se precisa medir para monitorar os resultados de uma empresa (baixe aqui o índice).

O livro é bastante completo e prático para quem trabalha com métricas. Se o seu trabalho é apenas com métricas digitais, talvez ele tenha mais informação do que você precisa – mas essa informação pode trazer insights sobre como interpretar os dados que você usa diariamente.

Com frequência, Klubeck se refere ao livro “How to Measure Anything”, de Douglas Hubbard. Eu já tinha ouvido excelentes referências sobre esse livro, mas as dicas de Klubeck foram cruciais para que eu o comprasse e começasse a ler. Muito gratificante.

A Novatec, editora que publica o livro de Klubeck, é uma editora relativamente nova e bastante focada em áreas técnicas. Lançou obras muito interessantes sobre desenvolvimento Web, programação e até uma série de guias em forma de mangá sobre temas aparentemente áridos como bancos de dados e estatística. Foi pelo site da editora que fiquei sabendo a respeito da Metrics Summit, conferência brasileira sobre métricas que ocorre no dia 29 de novembro em São Paulo.

O Afinal de Contas começa a publicar semanalmente um post com uma resenha de livro sobre números e dados. Toda semana, as resenhas serão ilustradas com charges do amigo Flavio Soares, craque dos quadrinhos.

O primeiro livro está na minha fila de posts há algum tempo. É “Os Números (não) mentem“, de Charles Seife (Zahar, 2012). Todo dia, quando entro aqui no blog, vejo a capinha do livro no anúncio da Livraria da Folha me lembrando que preciso falar dele. É um dos melhores que li neste ano.

Você viu nas redes sociais, nos últimos dois meses, o quanto o meio político atribui poderes mágicos às pesquisas de intenção de voto. As torcidas organizadas de cada partido têm certeza de que as pesquisas que beneficiam seu candidato com meio pontinho estão  certas e que todas as outras só poderiam ter sido compradas pelos adversários. Sem falar que sempre aparece algum parlamentar propenso à censura querendo proibir a divulgação de pesquisas eleitorais.

Matemático e professor de jornalismo, Seife critica a forma como os números são usados no debate público sobre todo tipo de tema.

Números, lembra o autor,  geralmente expressam medições. Medições são feitas por seres humanos. Seres humanos falham.”Por mais ridícula que seja uma ideia, expressá-la sob a forma numérica faz com que ela soe respeitável, ainda que a medição subentendida seja claramente absurda”, diz Seife.

Ele aponta as principais falácias que aparecem nessas horas: colheita de cerejas (escolha de resultados favoráveis), comparação de bananas com laranjas, desestimativa (levar ao pé da letra um resultado de medição), empacotamento de frutas (mostrando só o lado mais bonito, como fazem os feirantes) e randomiopia (cegueira aos efeitos aleatórios).

Seife dedica um capítulo inteiro às pesquisas de opinião, mostrando todo tipo de fator que pode influir nos resultados. Desde os erros amostrais, previstos na definição do tamanho e composição de uma amostra (margem de erro de X pontos percentuais para cima ou para baixo, intervalo de confiança de Y%), até os erros não-amostrais. Que podem incluir até a rejeição visceral dos simpatizantes de um partido às pesquisas em geral.

(Recomendação de Seife: a menos que você seja profissional de marketing político, dificilmente as pesquisas mudam sua vida. Leia-as com inteligência, de maneira crítica, atentando às sutilezas dos números, mas não as leve para o lado pessoal.)

A pesquisa mais confiável é a urna, todos dizem. Ela não está exposta a erros amostrais, já que contabiliza todos os que foram votar. Também não está exposta a erros não amostrais, já que vale o voto dado.

O problema é que a contagem dos votos pode ter problemas também. De acordo com Seife, “as autoridades eleitorais rezam por vitórias esmagadoras; margens folgadas encobrem erros, enquanto as decisões apertadas ressaltam e iluminam qualquer falha”.

Mesmo o sistema brasileiro de contagem dos votos, cuja “infalibilidade” (conceito inexistente em processamento de dados) o TSE não cansa de trombetear. Há pouco, o colunista da Folha Silvio Meira escreveu em seu blog sobre “A urna eletrônica e a falta de transparência nas eleições“. Belo post, recomendo a leitura.

Caso alguma cidade termine com o resultado muito apertado neste domingo, vale a pena observar uma situação interessante. Se alguma urna der problema, deve haver uma disputa jurídica difícil de resolver, porque o sistema brasileiro não permite recontagem independente.

Mas recontagem resolve? Seife acha que não. Como cada candidato pode defender métodos de contagem perfeitamente legítimos desde que o beneficiem em detrimento do adversário, o autor sugere que jogar uma moeda para cima em casos de muita indefinição poderia ser mais rápido, barato e até justo.

“É uma ilusão fingir que as eleições podem ser perfeitas”, escreve Seife. “Trata-se de uma atividade imperfeita por sua própria natureza. Simplesmente temos a sorte de, na maioria das vezes, o resultado da eleição ser claro o suficiente para ser visível em meio à sujeira”.

Se política não é sua praia, não se preocupe. Seife tem capítulos sobre outros assuntos também.

O cerne do livro é que os números mentem tanto quanto as palavras. Não mentem mais e nem menos do que elas. São ferramentas usadas por gente séria e por gente nem tanto. Cabe a cada um conhecer as maneiras como são usados para não ser enganado por quem usa números ou palavras para mentir. Um livro assim sempre ajuda.