Diferença detectável

O que o bloco faz

Responde se dá para COMPARAR grupos: para cada par de categorias de uma mesma variável (mulheres × homens, pretos × brancos), a menor diferença entre as duas proporções que a pesquisa detectaria com o nível de confiança e o poder escolhidos:

δ = q_{1−α/2} · √(deff · p̄q̄ · (c_a/n_a + c_b/n_b))
    + q_{poder} · √(deff · (p_a q_a c_a/n_a + p_b q_b c_b/n_b))

com p_b = p_a + δ, p̄ a média das duas ponderada pelos n e c = 1 − n/N a correção finita (1 sem a população do grupo) — a fórmula de duas proporções de Fleiss, Levin & Paik (2003), sem correção de continuidade (a DMD sai um pouco menor que com a correção de Yates/Fleiss). A tabela traz o pior caso entre partir de p_a ou de p_b, para cima ou para baixo. Com Distribuição t, os quantis são t com n_a + n_b − 2 gl.

A coluna sustentavel diz se a diferença que importa (10 pontos, por padrão) é detectável. Quando não é, um resultado “sem diferença” entre os dois grupos não quer dizer nada: é falta de gente no menor deles.

Sem cotas, o tamanho de cada grupo é a participação dele vezes o n total. Por isso a tabela aceita a participação (com n total) ou a contagem direta. A comparação é governada pelo MENOR grupo do par: dobrar o grupo grande quase não muda a DMD.

Duas margens de erro que não se sobrepõem não são o teste da diferença, e duas que se sobrepõem ainda podem esconder uma diferença real. É esta a conta certa para a pergunta “dá para comparar?”.

Antes de continuar

Termos que esta página usa, em poucas palavras. As definições completas estão no glossário.

População

O conjunto completo de unidades sobre o qual se quer concluir algo: todas as propriedades de uma região, todos os alunos de uma escola. Em geral não é possível medir todas, e por isso se mede uma amostra.

Amostra

A parte da população que é de fato observada. Quando é sorteada com probabilidades conhecidas, permite estimar características da população e medir a incerteza dessa estimativa.

Efeito do plano (deff)

A razão entre a variância de uma estimativa no plano amostral usado e a variância que ela teria numa amostra aleatória simples do mesmo tamanho. Um deff de 2 quer dizer que a amostra vale, em precisão, metade do que valeria se fosse aleatória simples.

Intervalo de confiança

Uma faixa de valores calculada a partir da amostra. Com 95% de confiança, o procedimento produz intervalos que contêm o valor verdadeiro em 95% das amostras possíveis; não quer dizer que um intervalo específico tenha 95% de probabilidade de acertar.

Poder do teste

A probabilidade de o teste detectar um efeito que de fato existe (um menos a probabilidade de erro tipo II). Cresce com o tamanho da amostra e com o tamanho do efeito, e diminui quando a variabilidade é grande.

Quando usar

Use antes da coleta para verificar se os grupos previstos permitem detectar a diferença que importa.

Pressupostos

• Os dois grupos são independentes e a comparação é de UM par escolhido antes de olhar os dados, com teste bilateral de duas proporções (Fleiss, Levin & Paik 2003, cap. 4, sem correção de continuidade); a DMD é o pior caso entre as duas referências (p_a, p_b) e os dois sentidos.

  Se falhar: Para muitas comparações, divida a significância pelo número de pares (Bonferroni) e recalcule; grupos que se sobrepõem pedem a variância da diferença pelo desenho.

• A correção finita (1 − n/N) só entra com a coluna de população de cada grupo; sem ela, supõe grupos pequenos diante da população.

  Se falhar: Com grupo recenseado quase inteiro e sem a população, a DMD sai conservadora: informe a coluna População de cada grupo.

• As entrevistas de cada unidade se comportam como uma amostra aleatória dela; em coleta por recrutamento, indicação ou adesão a margem é nominal (a de uma amostra aleatória com o mesmo tamanho efetivo), e o viés de quem aparece não entra nela.

  Se falhar: Cuide do viés no desenho da coleta e calibre depois com sampling/rake; a margem não o corrige.

• Aproximação normal da proporção: n·p e n·(1 − p) não muito pequenos (umas 30 respostas por célula ou mais).

  Se falhar: Junte células pequenas; abaixo disso a margem da fórmula não deve ir para o relatório.

• O deff informado é o do desenho real (ponderação e agrupamento); a fórmula não o estima.

  Verificar:Média

  Se falhar: Use o deff de uma pesquisa anterior ou do piloto (o card de sampling/mean o mostra) e compare cenários.

Configuração

• Variável, Grupo — colunas da tabela longa (uma linha por categoria).
• Tamanho do grupo — coluna com a contagem, ou a participação (0 a 1) se o n total for maior que 0.
• Proporção esperada — p; 0,5 é o pior caso.
• Confiança, Poder — o nível do teste e a chance de detectar a diferença quando ela existe.
• Efeito do desenho — deff da pesquisa (ponderação e agrupamento).
• Diferença que importa — em proporção (0,10 = 10 pontos).

Exemplo

O fluxo usa os conjuntos didáticos registrados em sampling/example e inclui o nó desta página.

library(trama)

reg <- tr_registry()
tr_use("trama.sampling", registry = reg)

tr_flow(reg) |>
  tr_add("perfil", "sampling/example", dataset = "perfil_escolas") |>
  tr_add("diferencas", "sampling/detectable_difference", variavel = "variavel",
         grupo = "categoria", tamanho = "participacao", n_total = 675, deff = 1.5,
         from = "perfil")

Como interpretar

Cada linha compara um par de grupos. diferenca_detectavel_pp é a menor diferença em pontos percentuais detectável; sustentavel indica se a diferença configurada como relevante supera esse limiar. A saída é Tabela data/table com pares de grupos, diferença detectável e sustentabilidade.