Série Lean Analytics: O que é e como escolher uma boa métrica?

Lean Analytics Capítulo 1: We’re All Liars.

Todo empreendedor mente para si mesmo. Acreditar na própria mentira é ruim, pois pode inflar o ego e fazer com que o empreendedor se perca na sua ilusão. Mas a “mentira” também é um fator bom e importante para todo o empreendedor pois aguça os instintos e aumenta o leque de oportunidades.

É ai que entra a análise de dados. Os instintos são experimentos e com a análise de dados podemos provar se estes instintos são uma mentira ou não. E como validar estes experimentos? Uma boa maneira é seguir o modelo Lean Startup.

O Lean Startup é um framework que tem sido muito utilizado por empreendedores de sucesso, e tem por base o ciclo rápido e contínuo onde é preciso criar, mensurar e aprender com o desenvolvimento de negócios, para poder ajustar as necessidades a cada ciclo que se começa, e com isso obter sucesso no mercado em que se atua.

Lean é uma ótima maneira de construir negócios e analytics garante a coleta e análise dos dados importantes para o negócio. Assim, o ciclo demonstrado na figura acima pode ser executado continuamente. É importante saber que tanto o lean quanto o analytics são mais que um processo, são acima de tudo um mindset.

O case AIRBNB

A AIRBNB tinha um palpite de que ter fotos com melhor qualidade no site iria melhorar as vendas. Para isso seria necessário usar fotógrafos profissionais para tirar as fotos que iam para o site.

Eles testaram a hipótese através do Consierge MVP, ou seja, colocando o esforço mínimo necessário em um teste manual com poucos usuários que pudessem dar dados reais que ajudassem a validar a hipótese.

O experimento aumentou de 2x a 3x a quantidade de bookings. Como o experimento mostrou bons resultados eles terminaram de desenvolver os componentes necessários para lançar para todos os clientes.

A lição aprendida com este case é que as vezes o crescimento vem da onde não esperamos. Quando tiver uma ideia defina como testar rápido e com mínimo investimento. Defina como o sucesso deve ser de antemão, e saiba o que fazer caso seu palpite esteja certo.

Lean Analytics Capítulo 2: How to keep score.

Analytics é sobre rastrear as métricas que são críticas para o negócio. Mas quando colocado na realidade de startup, normalmente não se sabe quais são as métricas chave do negócio, pois não se sabe em que negócio realmente se está atuando. Por tanto, é preciso entender o que é uma boa métrica, assim como escolher as métricas corretas para o seu negócio.

O que é uma boa métrica?

Ela tem que ser comparativa: poder comparar com outros períodos ou concorrentes, por exemplo, ajuda a entender para onde o negócio esta se movendo.

Ela tem que ser de fácil compreensão: todos precisam compreender a métrica, pois é mais fácil ajustar a métrica do que a cultura.

Ela deve ser uma taxa, uma proporção: é preciso olhar para taxas e números para garantir a saúde do negócio. É mais fácil de agir sob uma taxa/número, além de taxas serem sempre comparativas.

Uma boa métrica muda a maneira como um negócio funciona: este é o critério mais importante. O que você fará diferente baseado nas mudanças das métricas?

Mas para mudar o comportamento de um negócio as métricas devem estar completamente alinhada a mudança desejada. Métricas precisam estar atreladas a pelo menos um dos objetivos do negócio, caso contrário é bem provável que você esteja mentindo para si mesmo.

Os 5 conceitos para escolher uma boa métrica:

Para começar, uma curiosidade sobre métricas é que elas geralmente vem em pares. Por exemplo, taxa de conversão está completamente amarrada ao ciclo de compra do consumidor. Isoladamente, um indicador por si só não diz muita coisa, mas olhado junto com um outro, pode-se tornar acionável e com isso promover mudanças significativas.

Para fazer a escolha correta das métricas para seu negócio é preciso manter em mente os conceitos abaixo, sempre lembrando que não existe um tipo de métrica melhor ou pior, elas são complementares e devem andar juntas para funcionarem.

1. Métricas qualitativas x métricas quantitativas: As qualitativas são reveladoras, desestruturadas e trazem mais insights. Já as quantitativas envolvem números e estatística, sendo mais difíceis de extrair insights.
2. Métricas da vaidade x métricas acionáveis: Métricas da vaidade podem até fazer você se sentir bem, mas não mudam a maneira como você age. Já as métricas acionáveis promovem ações que podem ser tomadas para realizar uma mudança de comportamento.
3. Métricas exploratórias x métricas de relatório: Métricas exploratórias são especulativas e sem insights, enquanto as métricas  de relatório são gerenciais e mantém você lado a lado da operação diária.
4. Métricas de condução  x métricas retardatárias: Métricas de condução (leading metrics) são métricas que mostram o futuro e as métricas retardatárias (laggin metrics) explicam o passado. Métricas de condução são melhores pois você ainda tem tempo de agir sobre elas.
5. Métricas casuais x métricas correlacionadas: Se duas métricas mudam juntas, elas são correlacionadas, mas se uma métrica causa a mudança de uma outra, ela são casuais. Se você encontra uma relação casual entre algo que você deseja e algo que você pode controlar, você pode mudar o futuro.

Quando você escolhe um objetivo, você está desenhando uma linha na areia, pois você não sabe ainda como definir sucesso, e com isso não sabe como definir as métricas corretas. Então conheça o seu cliente, utilize as boas práticas do Lean Startup e escolha uma gama diferenciada de métricas, que juntas possam ajudar a guiar melhor o seu negócio, assim você poderá saber se a linha desenhada na areia é valida, ou não.

A realidade é que na prática existe um grande abismo entre o que você assume como verdade e como o negócio realmente se comporta, e aí chegamos em um ponto muito importante quando falamos em Lean Analytics, que é testar hipóteses.

O coração do Lean Analytics:

Testar hipóteses é considerado o coração do Lean Analytics. Testar envolve comparar duas coisas através de segmentação, análise de grupos, teste A/B e testes multivariados. Entender os conceitos destes tipos de testes é importante para quem quer uma comparação cientifica para justificar uma mudança. Confira abaixo:

Segmentação: é um grupo que divide características em comum. Usuários que utilizam Chrome, clientes de uma determinada região, mães que dirigem carro sedan.

Análise de grupos (Cohort analysis): parece um pouco similar a segmentação, mas não se engane! Análise de grupos, ou cohort analysis, compara grupos através do tempo. Por exemplo: comparar a média acadêmica dos alunos que se formaram na faculdade de Direito em 2010, durante seus 5 anos de curso.

Teste A/B: mostrar uma determinada informação a um grupo e outra diferente a outro, e com isso ver qual informação performou melhor. Por exemplo, entregar um banner vermelho para uma parcela da audiência do site e um banner amarelo para a outra, e com isso ver qual banner é propenso a ter mais cliques.

Testes multivariados: ao invés de fazer uma série separada de testes um depois do outro, e com isso perder velocidade no ciclo de aprendizado, é possível analisar todos os teste juntos. Mude diversos elementos de uma vez só e veja o que performa melhor de acordo com o resultado necessário.

Muito do Lean Analytics é sobre como encontrar métricas que tenham significado, com isso fazer experimentos para melhorar as métricas, até que elas sejam boas o suficiente para que você passe para o próximo problema ou estágio do seu negócio.

Estes dois primeiros capítulos são mais conceituais e bem úteis para quem ainda não é familiarizado com os mindset do Lean Startup. Medir é um pilar essencial para qualquer negócio e neste primeiro post conseguimos ver porque a análise de dados é tão importante para garantir que o ciclo do Lean Startup aconteça, além de já entender os primeiros conceitos para construir métricas que sejam realmente relevantes. Nos vemos no próximo post, onde falaremos sobre os capítulos 3 e 4! 🙂

Que tal conferir a série completa e entender melhor Lean Analytics em um e-Book prontinho?

Baixar Taller Book: Entendendo Lean Analytics →