16 Comments

    • Obrigado pelo feedback!

      Empreender é tomar as melhores decisões possíveis com as infos que vc tem na mão naquele momento. Esses dados aí é o que a gente tem agora. Os dados poderiam ser melhores? Claro. Mas a gente precisa agir com o que tem na mão. Se o estado atual é melhor que o anterior (melhoria incremental), a decisão foi correta.

      Mais uma vez obrigado, assim que tivermos mais dados (pós recesso), a gente pode atualizar o post com novos dados, mas provavelmente teremos os mesmos resultados práticos, com a v3 ganhando.

      • Lucas

        Muito interessante o artigo! Só não concordo com a parte de testar mais que 5 usuários é perca de tempo.

        Concordo que 5 usuários pode ser o suficiente para se observar tendências estatísticas, mas quanto mais dados, melhor! Dados repetidos não são necessariamente inúteis, eles simplesmente demonstram as tendências de que falei acima.

        Outra coisa que acho legal é realizar o mesmo teste em intervalos de tempos diferentes, para tentar eliminar “barulho” dos dados coletados. Vocês realizaram por 24hr os testes, será que daqui 1 semana os mesmos testes retornarão os mesmos resultados?

        Uma dúvida que fiquei foi como vocês distribuíram as cargas de testes pros usuários? Foram mil usuários, e 4 tipo de testes, então cada 250 usuários receberam um tipo de teste distinto?

        Abs!

  1. Felipe

    Olá,
    Tenho uma dúvida. As versões são testadas todas ao mesmo tempo?
    Se sim, a ferramenta oferece essa opção?
    Se não, a versão vencedora poderia ter sido influenciada por diferentes perfis que estavam acessando a página naquele dado instante?
    Por exemplo, digamos que ao meio dia a versão X estava no ar. Supondo que mais pessoas acessem a internet nesse horário, a taxa de conversão teria mais chances de ser maior para essa versão X. É possível?

    Obrigado

    • As versões são apresentadas aleatoriamente para cada nova visita, a variação de horário não influencia nos dados.

      Sobre o funcionamento da ferramenta VWO, recomendamos que você entre em contato diretamente com os responsáveis por ela. Abraços e obrigado.

  2. Muito bom ler sobre growth hacking na prática, Marco. Obrigado por compartilhar.

    Eu já conhecia a ferramenta VWO, mas nunca tinha visto relatórios e resultados como você mostrou. Agora assinar um dos planos parece uma boa ideia. :P

    Seria legal ver mais posts como esse no blog da Mova Mais. ;)

  3. Uma sugestão pra próximo teste seria mudar as palavras de resgate de voos, parece que alguém está acidentado e será resgatado :)

    Parabéns pelos testes, a teoria de teste a/b é muito bonita, testar na prática poucos fazem

  4. Muito legal já ter um resultado tão expressivo em tão pouco tempo. Como macaco velho de teste A/B, minha sugestão assim como a do Lucas é deixar o teste rodar por alguns dias pois o trafego de um dia pode não representar toda audiência. O ideal é deixar o teste rodar por pelo menos 7 dias para contabilizar o trafego do fim de semana que pode ser bem diferente. Também é importante o resultado atingir statistical significance e com os dados que você apresentou, o teste precisa rodar mais para tomar uma conclusão mais precisa. O próprio vwo oferece uma calculador e quando coloquei os dados apresentados no post, a calculadora sugere que o resultado não é estatisticamente significativo. Ou seja tudo pode mudar para melhor ou pior. https://vwo.com/ab-split-test-significance-calculator/

    Grande abraço a todos!

  5. Muito bom Marco! Aqui na Resultados Digitais também estamos voltando nossos esforços para tornar nosso design cada vez mais data-driven e testes multivariáveis como estes servem para dar uma boa noção sobre que caminho seguir. Apesar da amostragem ser pequena no seu caso (1000 visitantes), é melhor se basear neles para fazer o estudo do que trabalhar com suposições.

    Parabéns pelo artigo!

    • Oi, esta seria uma proposta irreal, geraria frustração no usuário. É economicamente insustentável fazer uma empresa que distribui tickets aéreos gratuitamente para qualquer pessoa que mantiver um hábito de se exercitar.

      A ideia não é viajar “apenas” se exercitando. O Mova Mais é mais uma maneira de acumular pontos nos programas de fidelidade de coalizão.

      A proposta é: acumule pontos fazendo compras nas lojas parceiras, voando nas companhias aéreas selecionadas e também fazendo exercícios com o mova mais.

      O Mova Mais é uma maneira adicional de acumular pontos, não a única.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *