본문 바로가기
Statistics (통계)

[통계] A/B test: Sample Size가 뭐길래

by muha0-0 2025. 8. 27.


MDE & Sample Size

  • Minimum Detectable Effect (MDE)와 Sample Size는 반비례 관계이다
  • MDE가 클수록 적은 sample size에도 0가설을 기각할 수 있다 (statistical significance)


Reliability vs Statistical Significance

  • Reliability (신뢰도): 실험을 반복했을 때 같은 결과가 나올 확률
  • Statistical Significance (통계적 유의성): p-value가 설정된 significance level 보다 낮아, 0가설을 기각할 수 있음 (관측된 결과가 우연일 확률).