귀무가설 vs 대립가설 : A/B 테스트의 본질은 간접 검증

귀무가설 (Null Hypothesis) 과 대립가설 (Alternative Hypothesis) 의 정의

귀무가설 (歸無假說, Null Hypothesis, 영가설)
가설 검증에서, 표본에 의하여 그 진위가 검증되어야 할 가설. 두 모수치 사이에 차이가 없다고 하는 가설로, 기각될 것을 상정하고 있으므로 이런 이름이 붙었다. 이 가설이 기각되지 않으면 모수치들 사이에 확률적으로 차이가 없다고 결론 내리며, 기각된다면 차이가 있다고 결론 내린다.
 
대립가설 (對立假說, Alternative Hypothesis)
가설 검증에서, 진위를 검증하고자 하는 귀무가설에 대립하는 가설. 귀무가설이 기각될 때 받아들여지는 가설이다.
 
 

왜 대립가설을 직접 검증하지 않는가?

대립가설도 증명을 해야한다. 귀무가설이 반려된다고 대립가설이 자동적으로 증명되는 것은 아니기 때문이다. 
다만, 귀무가설을 증명하지 않고 대립가설만 증명하는 것은 매우 좋지 않은 검증 사례로 받아들여진다. 다시 말해 귀무가설 검증은 대립가설 검증과 함께 진행됐을 때 유의미한 과학적 절차이다. 
 

 

예를 들어, 그리 멀지 않은 과거에 사람들은 (사실 요즘도 어떤 사람들은) 지구가 납작하다고 믿었다. 그런데 갑자기 코르페니쿠스같은 사람이 등장해서 그것이 사실이 아니라고 우기기 시작했다.
 
귀무가설 (H0): 지구는 납작하다
대립가설 (H1): 지구는 둥글다. 
 
이 때 귀무가설이 기각된다고 하여, 다시 말해 지구가 납작하지 않다고 해서, 바로 지구가 둥글다는 것이 입증되는 것은 아니다. 지구는 네모날 수도 있고, 세모날 수도 있다. 코르페니쿠스씨는 지구가 둥글다는 것도 입증 해야한다. 하지만 우선, 지구가 납작하지 않다는 것도 증명해야한다. 현재 현상으로 받아들여지고 있는 것을 먼저 기각해야, 새로운 것을 받아들일 수 있다는 이야기이다. 
 
 
 
 

무엇을 검증하는 것인가?

그래서 A/B 테스트를 돌린 이후, 보다 적확한 표현은 '귀무가설을 기각했다'와 '귀무가설을 기각하지 못했다'인 것이다. 흔히들 보는 미드 법정 드라마에서 'not guilty' 즉 무죄 판결을 받는다고 해서 피고인의 '결백'이 증명되는 것은 아니다. 단지, 유죄를 입증할만큼 충분한 증거가 부족했다는 뜻. 마찬가지로, 귀무가설을 기각하지 못했다고 하여 대립가설이 바로 증명되는 것은 아니다. 
 
A/B 테스트는 귀무가설을 기각 혹은 수용함으로써 대립가설을 간접적으로 증명할 뿐인 것이다. 그것도 사전에 정의한 통계적 유의도 (Significance Level)의 한계의 아래에서. 
 
 
 
출처:
https://www.statisticshowto.com/probability-and-statistics/null-hypothesis/

https://www.statisticssolutions.com/reject-the-null-or-accept-the-alternative-semantics-of-statistical-hypothesis-testing/