Inferência Estatística – Teste de hipóteses

Na minha jornada de estudos de A/B testing, acabei percebendo que eu precisava conhecer mais a fundo o tema teste de hipóteses (pode ser o seu caso também). Você aceita ou rejeita a hipótese de ler este artigo?

Teste de hipóteses faz parte de um campo da estatística conhecido como inferência estatística. A ideia é que você consiga validar:

  1. Uma afirmação acerca de um parâmetro da população.

    Exemplo: 100 funcionários de uma determinada empresa foram selecionados aleatoriamente e foi constatado que a média de idade destes funcionário é 40 anos. É válido dizer que a empresa inteira tem média de idade igual a 40 anos?

    ou;

  2. Estimar se duas amostras apresentam diferenças significativas

    Exemplo: Durante duas semanas foi analisado o comportamento de compra de dois grupos de usuários em um e-commerce. O grupo 1 (controle) foi exposto à página tradicional da empresa, já o grupo 2 (teste) foi exposto à uma página nova que a empresa está desenvolvendo. A taxa de conversão (número de clientes que acessaram a página dividido pelo número que clientes que compraram) do grupo 1 foi de 10% e do grupo 2 foi de 12%. É possível afirmar que a página em desenvolvimento (exposta ao grupo 2) vende mais do que a página tradicional de vendas da empresa (exposta ao grupo 1)?

Formulando as hipóteses

As inferências são feitas por meio do teste de duas hipóteses: uma hipótese nula (H0) e uma hipótese alternativa (H1 ou Ha). Não deve existir sobreposição de resultados entre estas duas hipóteses, ou seja, quando uma delas for verdadeira, a outra necessariamente deve ser falsa. Por este motivo, ao formular H0 e H1, siga as seguintes orientações (anote bem, isso vale ouro):

  1. Formule a hipótese H0 utilizando os sinais de <=, =, >=
  2. Formule a hipótese H1 utilizando os sinais de <, #, >

Dica: quando formulamos as hipóteses com os sinais de = (na hipótese H0) e # (na hipótese H1), estamos falando de um teste bilateral ou bicaudal. Caso contrário, será um teste unilateral ou unicaudal. Vou explicar em breve, não se preocupe.

Exemplos de definição de hipóteses:

H0 = A média de idade da empresa é igual a 40 anos
H1 = A média de idade da empresa é diferente de 40 anos

ou

H0: A taxa de conversão da página nova é <= 10%
H1: A taxa de conversão da página nova é > 10%

Lembre-se, dada as orientações de formulação de hipóteses citadas acima, você poderia pensar em diferentes hipóteses para formular H0 e H1. Acima foi dado apenas um dos possíveis pares de hipóteses.

De acordo com os exemplos citados acima, você também já deve ter notado que os testes de hipóteses podem investigar diferentes tipos de parâmetros, como médias, proporções e variância.

Por favor, dê uma pausa neste ponto e releia quantas vezes for necessário para entender bem estes pontos. O que eu disse até agora é a base para entender o porquê você quer fazer um teste de hipótese e como formular estas hipóteses 🙂

Vamos entender, visualmente, o que está acontecendo?

Anote ai: tecnicamente falando, você quer testar se um determinado valor observado (vamos chamar de Z observado ou T observado) pertence ou não pertence à uma determinada região crítica (vamos chamar de RC).

Se o valor observado (test statistic) estiver dentro (pertence) da sua região crítica, então você rejeita sua hipótese nula H0 e, automaticamente, aceita sua hipótese alternativa H1 (ou vice-versa). 

Veja na image abaixo o que é essa região crítica de que tanto falamos.

RC-Normal

Portanto, se o seu valor observado estiver dentro da área azul desta distribuição (RC), você vai rejeitar a hipótese nula H0 e aceitar a hipótese alternativa H1 (ou vice-versa). 

Um pouco mais de detalhes sobre a região crítica
Vou abrir um parênteses aqui para falar que nem sempre a região crítica será aquelas duas áreas azuis que você vê na figura acima. Na verdade, aquele será a região crítica para um teste bilateral ou bicaudal. Se o seu teste for unilateral ou unicaudal, então a região crítica será apenas uma daquelas áreas (apenas à direta ou apenas à esquerda). 

Como regra básica, olhe para o sinal utilizado para sua hipótese alternativa:
– Se for um sinal de diferente, a região crítica é exatamente como mostrado na figura acima (dos dois lados da distribuição).
– Se for um sinal de >, então a região crítica está apenas do lado direito (–>) da distribuição
– Se for um sinal de <, então a região crítica está apenas do lado esquerdo (<–) da distribuição

Por enquanto é isso que precisa saber. Mais pra frente veremos como encontrar os valores dessas regiões.

Bom, como você já sabe formular suas hipóteses H0 e H1 e já tem uma ideia visual do que você quer fazer (verificar se um valor observado está dentro ou fora de uma RC), agora você precisa:

  • Calcular o valor observado (Z observado ou T observado)
  • Calcular a região crítica (RC)
  • Verificar se o valor observado pertence ou não pertence à RC e tomar suas conclusões

É exatamente o que vou mostrar nos próximos passos 🙂

Um detalhe antes de prosseguirmos: eu estou constantemente mencionando os termos “Z observado” e “T observado” porque, quando você for calcular o valor observado, a fórmula pode fazer referência à diferentes tipos de distribuições. Quando a fórmula fizer referência à distribuição normal, estamos calculando o Z observado…quando fizer referência à distribuição T-student, estamos calculando o T observado. É só isso!

Um pouco mais de teoria antes de entrar na prática

Erro

Nenhum teste pode lhe garantir 100% de acerto na inferência que foi feita. Desta forma, é importante saber se existem dois tipos de erros associados aos testes de hipóteses:

Tipo I: rejeita-se H0 quando, na verdade, H0 é verdadeira
Tipo II: aceita-se H0, quando, na verdade, H0 é falsa

Estes erros estão conectados, de forma que, quando um diminui, o outro aumenta. A única forma de reduzir os dois erros ao meso tempo é por meio do aumento da amostra.

Nível de significância (alpha)

Nível se significância refere-se à maior probabilidade permissível para que se cometa um erro do tipo I. Este nível de significância é comumente representado por alpha. É bastante comum o uso de 5% (0.05) como nível de significância. No entanto, isso depende do seu objetivo. Por exemplo, muitos testes A/B utilizam 1% como nível de significância.

Se subtrairmos 1 – nível de significância, teremos o nível de confiança. Ou seja, quando o nível de significância é 5%, o nível de confiança será de 95%.

Já a probabilidade do erro tipo II é representada por beta e também é conhecida como poder do teste. Na prática, nos testes de hipóteses, em geral controlamos apenas o valor de alpha.

Nível descritivo ou P-VALOR

Utilizamos o P-VALOR para aceitar ou rejeitar a hipótese nula. A ideia geral é que, quando o P-VALOR for muito pequeno, H0 é falsa. Para que a determinação de “valor muito pequeno” não seja tão subjetiva, em geral, se estabelece uma relação do P-VALOR com o parâmetro alpha:

  1. Se P-VALOR for menor ou igual a alpha, então rejeita-se H0
  2. Se P-VALOR for maior do que alpha, então aceita-se H0

Siga este passo a passo para fazer seus testes!

Esta foi uma dica muito valiosa que extrai do site Professor Guru. Podemos pensar uma espécie de framework, ou passo a passo, para fazer os testes de hipóteses. Isso é fantástico já que, independente do teste, é possível seguir um racional padrão.

Estes são os passos que podemos seguir para realizar um teste de hipóteses. Talvez você não compreenda todos os detalhes de imediato. Não se preocupe, as dúvidas finais serão esclarecidas por meio de exemplos: 

  1. Escreva as hipóteses
    Lembre-se das dicas que escrevi no início do artigo

  2. Faça um gráfico da distribuição e desenhe a região crítica (RC)
    Faça um gráfico da distribuição amostral. Em seguida, de acordo com a hipótese alternativa, marque a região crítica do teste (unilateral ou bilateral?).
    Para os testes unilaterais, o valor da RC será igual ao alpha.
    Já nos testes bilaterais, o valor da RC será igual ao alpha / 2

  3. Busque o valor crítico do teste na tabela da distribuição correspondente
    Calcule o valor crítico do teste (T crítico ou Z crítico) de acordo com o nível de significância do teste (alpha) e com a região crítica (RC) utilizando a tabela da distribuição correspondente.
    Para a distribuição normal, procure na tabela o valor de 0.5 – alpha
    Para distribuição T-student, procure na tabela o valor alpha e os devidos **graus de liberdade (se o teste for bilateral, então deve-se usar alpha * 2)
    ** graus de liberdade é igual a n – 1 

  4. Calcule o valor observado utilizando a **fórmula do teste
    T observado para distribuição de T-student ou Z observado para distribuição normal 

  5. Conclua o teste
    Se o valor observado pertence à RC, então rejeita-se H0
    Se o valor observado não pertence à RC, então aceita-se H0
    No fim, forneça uma conclusão usando os termos de negócio (utilizados na própria definição das hipóteses). Se você rejeitar H0, então tente sempre ressaltar que você rejeita a hipótese nula, ao invés de, explicitamente, dizer que aceita a hipótese alternativa.
    Outra dica: como o teste sempre terá um erro associado, use termos como “há/não há evidência estatística para…” 

** A fórmula do teste é a parte que pode variar para cada caso, ou seja, você pode seguir este roteiro mudando apenas a fórmula de cálculo do valor observado.

Para definir a fórmula que você pode usar no teste, considere estes diferentes cenários:

formulas

Ou seja, dependendo do objetivo do teste e do tipo de informação que você tem em mãos é que você vai identificar a fórmula (o teste) adequada. 

Ao pesquisar as fórmulas, talvez você encontre alguns símbolos que vale a pena tomar nota:

  • S, geralmente refere-se ao desvio padrão da amostra
  • Sigma, geralmente refere-se ao desvio padrão da população

E definições importantes como:

  • Amostras independentes: os elementos de uma amostra não se relacionam com os elementos da outra amostra.
  • Amostras dependentes (emparelhadas): os elementos de uma amostra se relacionam com os elementos da outra amostra.

Exemplo

Estou trazendo este exemplo do curso de teste de hipóteses do Professor Guru. Você pode conferir este e outros exemplos no próprio site do professor. Neste exemplo, faremos um teste para a média com variância conhecida.

O enunciado é: Funcionários de uma grande firma de contabilidade afirmam que a média dos salários dos contadores é menor que a de seu concorrente, que é R$45000. Uma amostra aleatória de 30 contadores da firma mostrou que a média dos salários é de R$43500. Sabe-se, de estudos anteriores, que o desvio padrão dos salários é de R$5200. Teste a afirmação dos funcionários ao nível de significância de 5%.

Fonte: aula 5 do curso teste de hipóteses do Professor Guru
https://www.youtube.com/watch?v=dIuicq-hlm4

  1. Escreva as hipóteses

    H0 => média é >= 45000
    H1 => média < 45000

  2. Faça um gráfico da distribuição e desenhe a região crítica (RC)

    exemplo_1_2

    – Veja que o enunciado já nos deu o nível de significância (alpha) de 5%. Temos que usar estes 5% como RC.
    – Para decidir se devemos colocar este valor de alpha do lado esquerdo, direito ou distribuído igualmente dos dois lados do gráfico, temos que saber o tipo de teste. Olhando para a hipótese alternativa, sabemos que é um teste unilateral para a esquerda. É por isso que a região azul foi colocada naquele ponto.
    – Por fim, veja que aproveitamos para preencher o valor do restante da área até chegar no valor 0 (0,45). Na distribuição normal, a área azul + área tracejada representa 50%. Isso pode mudar em outros tipos de distribuição.

  3. Busque o valor crítico do teste na tabela da distribuição correspondente

    Agora você vai buscar o valor crítico (0,45) na tabela da distribuição que você está trabalhando (neste caso, a distribuição normal) e encontrar o valor de Z (parte inteira e parte decimal).

    dist_z

    O valor 0,45 está entre os valores 0,4495 (Z = 1,64) e 0,4505 (Z = 1,65). Neste caso, como o valor 0,45 está exatamente no meio destes dois valores, o resultado será a média dos dois valores de Z que encontramos. Assim ficaria com Z = 1,645.
    Como a nossa região crítica está do lado esquerdo, esse Z vale –1,645

    exemplo_1_3
  4. Calcule o valor observado utilizando a fórmula do teste

    A fórmula para este teste é:

    exemplo_1_1
    O resultado será -1,58

    exemplo_1_4

  5. Conclua o teste

    O valor observado não pertence a região crítica (RC). Quando isso acontece, devemos aceitar a hipótese nula (H0).
    Ao nível de 5%, não há evidências de que o salário médio dos funcionários é menor do que R$45000

Antes de finalizar

O processo que estou mostrando aqui foi baseado na interpretação dos valores críticos. Como já descrito no início deste artigo, você também poderia usar o P-VALOR para interpretar os resultados. Como, em geral, as pessoas simplesmente executam um teste de hipótese e comparam o P-VALOR com o nível de significância alpha (sem um conhecimento mais profundo dos cálculos), a interpretação dos valores críticos que vimos aqui te fornecerá uma visão mais detalhada sobre os testes de hipóteses.

Referências

Para mais informações sobre estatística, acesse as referências a seguir:

Quer saber mais sobre estatística?
Recomendo o canal EstaTiDados https://www.youtube.com/channel/UC4jROkPjTvnXRkuo2GAwKXw

Abraços!

 

 

 

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

%d blogueiros gostam disto: