신뢰구간 (Confidence Interval)

신뢰구간 (Confidence Interval, 信賴區間) 
모수가 포함될 것으로 예측되는 범위로 이 구간 안에 실제 모수가 들어갈 확률을 신뢰수준(예: 95%)으로 표현한다. 

 
통계 세계관의 대부분의 액션은 모집단 (Population)이 아닌 표본 (Sample)에서 발생한다. 추론적 통계량 (Inferential Statistics)은 표본을 통해 우리가 궁극적으로 관심 있는 모집단의 특성에 대한 결론을 내릴 수 있도록 한다. 쉽게 말해, 일부를 통해 전체를 추론한다는 뜻. 
 
신뢰구간은 (Confidence Interval)은 표본에서 얻어낸 추정치가 모수인 실제값을 포함할 것으로 기대되는 "범위"를 일정 신뢰수준 (Confidence Level)에서 보여주는 것이다. 예를 들어, 신뢰구간 95%는 표본을 100번 뽑아 추정치를 계산하면 95번은 모수를 포함한다는 말이다. 
 
AB Test에서 신뢰구간이 가지는 의의는 관측된 값이 발생할 확률만 보여주는 p-value와는 다르게 효과의 범위까지 보여주며 결과의 불확실성을 줄여준다는 점이다. p-value는 관측된 값이 우연에 의해 일어날 확률만 계산하지만, 신뢰구간은 가능한 효과의 범위와 통계적 유의성을 함께 보여주기 때문에 p-value보다 유의미한 정보값을 제공한다. AB Test를 진행하는 PM은 자신이 제품에 가한 변화 (treatment)가 유의미한 영향력을 가질 때만 실험을 진행해야하며, 보통 이를 실험 전에 설정한다 (Minimum Detectable Effect). 신뢰구간을 활용하면 실험결과에서 관측된 값에 오차 한계를 더해 최소 및 최대 효과를 예상할 수 있다. 직관적으로 생각해보면 당연하겠지만, 표본의 크기가 커질수록 신뢰구간은 좁아지고, 실험 결과에 대한 확신을 얻을 수 있다. 주의할 점은 신뢰구간 계산에 "Z값"이 포함되기 때문에 표본의 크기가 30 이하일 경우 사용하면 안된다. Z값은 모수의 표준편차를 정확하게 알 때만 사용할 수 있기 때문이다. 
 
PM이 의사결정에서 신뢰구간을 활용하는 방법은 '최악'과 '최선'의 조건을 확인해 배포 여부 및 전략을 결정하는 것이다. 전환율과 매출이 직접적인 상관관계를 가지는 광고 등의 도메인에서는 신뢰구간을 정확하게 이해하고, 최악과 최선의 시나리오를 이해해 매출에 어떤 영향이 가는지 확인할 수 있는 역량이 필요하다. 아래의 예시를 보자.
 

ARPU: +20% (CI: 5%~35%)
- 평균: $10 → $12 (+20%)
- 최악: $10 → $10.50 (+5%)
- 최선: $10 → $13.50 (+35%)

이탈률: +5% (CI: -1%~11%)
- 현재: 10,000명 유료 사용자
- 평균: 500명 이탈 (-5%)
- 최선: 100명 증가 (+1%)
- 최악: 1,100명 이탈 (-11%)

 
이 때 최선의 시나리오와 최악의 시나리오를 각각 계산해보면:

• 최악: ARPU 5% 증가, 이탈률 11% 감소: 9,890 x 10.50 = $103,845 ✅ (여전히 증가!)
• 최선: ARPU 35% 증가, 이탈률 -1% 감소: 1100 x 13.50 = $135,135 🎉 (+35.1%)

신뢰구간을 PM이 직접 계산하는 경우는 드물테니, PM은 아래 두 개만 기억하고 있으면 될 것 같다.
1) 신뢰구간에 0이 포함되어있는가? - 의미 없을 수 있음
2) 신뢰구간에 음수가 포함되어있는가? - (상황에 따라) 손실을 감수할 수 있는가?
 
신뢰수준은 보통 90%, 95%, 99%로 측정되는데 당연한 이야기이지만 높을수록 좋다. 하지만 높은 신뢰수준을 얻기 위해서는 모수가 그만큼 많이 필요하니 실험기간 동안의 기회비용 역시 감수할 수 있어야 한다. 지혜로운 PM은 다 잘 할 것이다. 끝.

신뢰수준

 
끝.