Experimentos científicos no mundo dos negócios

Publicado em 20/12/2017 e atualizado em 05/11/2021.

Experimentação não é feita apenas configurando ferramentas, criando hipóteses e fazendo testes. É necessário “preparar o terreno” antes do início do primeiro experimento, o que é feito criando uma cultura de experimentação que permeie toda a organização. Sem o preparo necessário, experimentos podem resultar em achados que não condizem com a realidade e embasem decisões danosas à organização.

Cultura de experimentação

Cultura é a materialização dos valores e crenças de uma organização em tudo o que ela faz. No contexto de experimentos, cultura é a adoção do método científico, conjunto organizado de passos para a obtenção do conhecimento. Este conceito é importante por algumas razões:

• Experimentos conduzidos sem o rigor científico estão mais sujeitos ao ruído de variáveis não controladas;
• Não há um consenso sobre o que esperar de resultado ao final do experimento;
• Aprendizados podem não ser propriamente administrados, registrados e disseminados pela organização.

Em suma, o experimento perde o sentido.

O chamado método científico é uma forma de aprendizado que se baseia na execução de processos com uma finalidade específica. O aprendizado metódico se dá em cima de um contexto conhecido, pode ser rastreável e o método usado é repetível com precisão. Realizar experimentos abraçando o rigor científico minimiza riscos associados e maximiza o retorno, independente de o resultado do experimento não ter sido aquele favorável para o negócio. Neste último caso, aprender que determinado tratamento não trouxe o ganho esperado significa que a organização não cometeu o erro de fazer uma mudança no negócio que resultaria em perdas de qualquer natureza.

A adoção da cultura de experimentação em organizações

Uma organização orientada a testes e experimentos é composta por pessoas que embasam suas decisões em aprendizados comprovados. Nada é feito sem antes passar por um processo de validação que suporte a tomada de decisão. Em contrapartida, organizações que tiveram e continuam tendo sucesso com decisões menos embasadas em dados podem não encontrar sentido na abordagem científica de testes, já que o negócio funciona bem há tantos anos. Ambos os tipos de organização baseiam suas decisões em dados, o que as diferencia é a quantidade de peso que é dado a um tipo de dado em especial: a experiência pessoal dos tomadores de decisão. Tenha como exemplo a imagem a seguir, da Marketoonist:

A chamada HiPPO, ou Highest Paid Person’s Opinion, é a opinião de uma pessoa com poder de decisão dentro das organizações. Pode ser a pessoa CEO, um cliente ou patrocinador de um projeto. Visto que muitas vezes essa pessoa profissional é experiente, é comum que ela confie bastante em suas experiências anteriores e no que acredita ser o caminho correto. Aí vem a dúvida: se negócios tradicionais funcionaram por tantos anos e continuam funcionando com os HiPPOs, por que então convencê-los de que a abordagem científica de experimentos é mais eficaz do que confiar na experiência? Duas razões são a assertividade nas decisões tomadas e maior retorno de investimento. Se trata de fazer investimentos em coisas que são desejadas e que tragam um retorno saudável para a organização.

Experimentar parte da premissa de desconhecimento sobre o que funciona para um negócio. A digitalização da forma como sociedades de organizam trouxe diversas novidades, inclusive no comportamento de consumo. Experiências passadas não explicam as demandas de consumidores do século XXI. Para atender a este consumidor, é preciso conhecê-lo. Podemos entrevistar pessoas e acompanhar suas jornadas de consumo, mas esse conhecimento não vai dizer se determinado produto ou serviço seria utilizado por estas pessoas. Vender a oferta sim, e isso é experimentar. Adotar uma cultura de experimentação em uma organização começa com o entendimento do por quê experimentar em primeiro lugar. Além de entender a importância de experimentar, é necessário saber como fazer experimentos corretamente.

A adoção do método científico no processo de experimentação

Experimentar por si só não é garantia de sucesso. Não é muito melhor do que tomar decisões de forma aleatória ou confiar totalmente em experiências pessoais. A experimentação deve estar pautada em em um modelo de experimentação que prevê processos bem definidos, com entradas e saídas previstas. Entra a ciência por trás do experimento. Essa forma de aprendizado é emprestada de áreas acadêmicas, financeiras e médicas, praticada por cientistas e matemáticos estatísticos. O que muda na abordagem direcionada a negócios é que o rigor dado ao método é menor. Isso acontece por pelo menos dois motivos:

• A informação precisa estar disponível rapidamente;
• É impossível garantir sanitização máxima do laboratório de experimentos (plataformas digitais).

Há uma troca entre velocidade da obtenção dos dados e da qualidade desses mesmos dados. Pense que testes na área da medicina, por exemplo, tratam diretamente com vidas. Neste contexto, um erro pode significar a morte de alguém, por isso a qualidade da informação possui um peso muito maior que o tempo de obtenção dos dados. Essa troca abre margem para erros no resultado de um experimento, mesmo que todos os procedimentos tenham sido feitos corretamente. Um método científico bem aplicado permitirá a re-execução do experimento nas mesmas condições do anterior e assim obter novos resultados para comparação com os anteriores. Como sempre haverá margens de erro nos estudos, é importante replicá-lo para eliminar quaisquer dúvidas.

Um método científico bem definido possui ao menos as seguintes etapas:

• Definição de hipóteses que determinem uma variável independente e uma variável dependente;
• Definição do tamanho do grupo de estudo e suas divisões;
• Configuração do experimento e garantia de qualidade dos dados (ou rigor estatístico);
• Execução e monitoramento do experimento;
• Análise exploratória dos resultados;
• Registro e disseminação dos aprendizados.

Variáveis dependente e independente estão ligadas à ideia de causa e efeito. Uma variável dita independente, ou causa, é um fenômeno observado, como a taxa de divórcios no estado de Maine ao longo dos anos ou o consumo de margarina per capta, por exemplo. A variável dependente, ou efeito quantifica uma causa. Seguindo a linha dos exemplos anteriores, seria a quantidade de divórcios em Maine ou o tanto de margarina consumida. Um experimento consiste em ajustar o efeito para entender seu impacto na causa. Isolar as variáveis é importante para dar certeza de que efeito e causa estão relacionados, para então entender se há uma relação de causalidade entre ambas.

Correlação não é causa

Executar um experimento é apenas uma parte do processo de aprendizado metódico. O aprendizado do experimento não está apenas no dado de retorno, mas também em um estudo mais aprofundado sobre as motivações por trás do resultado. Ao finalizar um experimento e não explorar mais a fundo o porque dos dados gerados, potenciais oportunidades são perdidas ou interpretações errôneas são feitas, o que afeta a conclusão do estudo. Um dos problemas em dar um experimento como concluído sem uma análise aprofundada dos resultados é aceitar uma relação de causalidade que pode não existir. Para ilustrar o problema, considere o gráfico produzido pelo consultor de tecnologia Tyler Vigen:

Não usei exemplos estranhos ao contexto por acaso: quando projetados em um mesmo plano, os efeitos ligados a essas duas causas se correlacionam. Lendo o gráfico é fácil inferir que o consumo de margarina afeta a taxa de divórcios no estado de Maine ou vice versa. Essa interpretação pode concluir que a margarina faz mal para os casamentos. Embora haja correlação, esses eventos apenas coincidem, sem relação de causalidade. Entender a causalidade é fundamental para responder se as diferenças observadas em experimentos são fruto de indução de comportamento previsto ou se são causa de algum fator externo. Uma referência comum a eventos coincidentes é a correlação entre ataques de tubarão e consumo de sorvete. O aumento no consumo de sorvete possui correlação com o aumento do ataque de tubarões. Embora seja fácil afirmar que sorvetes são malígnos, uma explicação mais apropriada é que a relação entre estas duas variáveis se dá pelo calor: em dias mais quentes as pessoas tomam mais sorvetes e em dias mais quentes as pessoas vão mais à praia, aumentando a probabilidade de serem atacadas por tubarões. A causalidade neste caso é com a variável calor. Esta terceira variável, que liga as outras duas, é conhecida como proxy.

Gestão e disseminação do aprendizado

Experimentos são sobre aprender. Aprender de forma rápida e barata. O fruto de um experimento é uma informação que seja passível de uso para tomar decisões em larga escala. O que torna essa informação valiosa é sua confiabilidade: não só a informação é representativa da realidade do negócio, se colhida corretamente, mas é possível saber qual o nível de confiabilidade. Pela abordagem do método científico, esse conhecimento é disseminado e armazenado em formato apropriado em alguma base de conhecimento de acesso comum, bem como a forma como ele foi adquirido. Se o conhecimento é perdido ou seu acesso é restrito, o conhecimento sobre o negócio e seus clientes se perde ou se torna restrito. Algumas consequências disso são investir mais tempo e dinheiro para obter a mesma informação ou deixar passar potenciais oportunidades de negócio. Registrar e disseminar conhecimento o democratiza e estimula a participação de todas as pessoas na construção de soluções para os desafios enfrentados pelas organizações.

No fim, ciência e negócios andam de mãos dadas

Experimentos sem um propósito maior e sem uma abordagem científica tendem ao fracasso e não são muito melhores do que adivinhação ou sorte. Para que funcionem, experimentos precisam ser aceitos por todas as pessoas na organização, e executados com rigor científico que justifique seus resultados e permita auditorias. São infinitas as razões pelas quais experimentos podem falhar, mesmo que uma abordagem sistêmica tenha sido posta em prática. O desafio é mitigar o risco associado e diminuir a margem de erro ao máximo para ter informações confiáveis em prazos aceitáveis. A tomada de decisão ainda será feita, possivelmente por HiPPOs. A diferença está no embasamento dado a decisão, que tira o peso de decisões que não são baseadas em informações confiáveis. É importante frisar que experiência pessoal e sentimento em relação ao negócio são fontes de informação importantes, elas distinguem uma abordagem dirigida a dados de uma orientada a dados. Ambas as abordagens são válidas e possuem seus casos de aplicação. No contexto de experimentos, o que acontece na prática é que o peso dado a experiência pessoal e ao sentimento são menores do que os dados coletados ao longo do estudo.

Leitura complementar

A Harward Business Review possui uma série de posts sobre experimentação e método científico no contexto de negócios. Um que destaco é a aplicação desses conceitos no mundo físico, especificamente em cadeias de lojas.

Bora experimentar!