[통계] A/B Test: T test vs Z test 두 집단의 차이를 검증하기

 

"In simple words, t-test is for small groups with unknown variation, z-test is for big groups with known variation." 이라고 답변해줌. 

 

 

T-test 와 Z-test 의 공통점과 차이점

두 방법 모두 데이터가 정규분포 곡선을 따른다고 가정한다. 차이가 있다면 표준편차를 어떻게 계산하냐는 것이다. 

 

표준편차 (標準偏差, standard deviation)
자료의 분산 정도를 나타내는 수치. 분산의 양의 제곱근으로, 표준 편차가 작은 것은 평균값 주위의 분산의 정도가 작은 것을 나타낸다.

 

Z-test는 정의하기로는 모집단의 분산을 알 수 있을 때 사용하지만, 사실 모집단의 분산을 정확하게 파악하고 실험에 돌입하기는 매우 어렵다. 하지만 중심극한정리에 따르면 표본의 크기가 30 이상이면 대략적으로 정규 분포를 따른다고 하니, 그냥 가정하고 들어가는 것이다. 이와 반대로 T-test는 샘플 사이즈가 작고 (n<30) 표본 집단의 정규 분포를 가정할 수 없을 때 사용한다. 

 

 

T-distribution vs Z-distribution

아래 그림과 같이 정규 분포 (중심을 두고 퍼져있는 모양) 형태를 띄고 있지만 n의 값이 작아짐에 따라 분산이 달라진다. 

 

 

 

 

제품관리자를 위한 Z-test T-test 가이드

내가 생각했을 때 일단 이건 회사에 데이터 분석가가 있다면 그분께 위임하는게 베스트인것 같다 ^_^ PM은 나가서 사용자 인터뷰나 한 번 더 하는 것이 맞지 않나 하는 생각

Z-test는 모집단의 규모가 매우 크고, 모집단의 표준편차를 알고 있을 경우 사용하는 것이 좋다. 하지만 현실 사례에서 모집단의 표준 편차를 정확하게 아는 경우가 얼마나 있는지 잘 모르겠다. 두 실험 방식의 차이는 p-value 계산 방법이 달라지기 때문에 염두에 두면 좋다. (하지만 p-value를 PO가 직접 계산한다고? )

 

대부분의 비즈니스 케이스에서는 위와 같은 이유로 T-test를 사용하는 것이 일반적이다. 특히 샘플 사이즈가 부족하거나 (<30) 모집단의 표준 편차를 모를 때는 T-test를 사용하는 것이 좋다. 따라서, 일반적으로 A/B 테스트를 통해 두 집단 (사용자 집단, 기능 차이 집단 등)의 차이가 통계적으로 유의미한지 확인하기 위해서는 T-test를 사용하면 된다.