# AB Test
# AB Test Process
# AB Test의 핵심 요소
# 실험 타겟
- 실험군(Experimental, Test Group)
- 특정 조작을 진행한 집단
- 새로운 화면, 새로운 Feature를 보여주는 경우
- 대조군(Control Group)
- 아무 조작도 하지 않은 그대로의 집단
- 기존 화면, 기존 Feature를 보여주는 경우
# 지표
- Success Metric(Primary Metric) : 기능의 성공을 확인할 수 있는 성공 지표
- Sub Metric(Secondary Metric) : 기능의 성공을 보조적으로 확인할 수 있는 보조 지표
- Guardrial Metric(Counter Metric) : 악영향을 미치면 안되는 가드레일 지표
# 실험 기간
- 실험에서 통계적으로 유의미함이 검증될 수 있는 샘플 수에 따라 달라짐
- AB Test Duration Calculator (opens new window) 등에서 계산할 수 있음
# 통계
- 빈도주의 접근
- 일반적인 통계 분석 방법
- 다르다, 다르지 않다를 검정하는 방법
- 베이지안 접근
- 빈도주의 대비 유연한 판단 방법
- 얼마나 다른지를 통계적으로 예측
- 확률 개념으로 A보다 B가 몇 %가 좋다는 결과가 나옴
- 이 강의에선 빈도주의 접근만 다룸
- 통계학의 궁극적인 목표
- 기존 주장이 맞는가? 혹은 새로운 주장이 맞는가?를 확인하는 것
- 귀무 가설(Null Hypothesis, H0, 영가설)
- 우리가 증명하려는 가설과 반대의 내용
- 결과 차이가 없다
- 귀무가설이 채택되면 = 차이가 없다
- 대립 가설(Alternative Hypothesis, H1)
- 우리가 증명하려는 가설
- 대립가설이 채택(귀무가설이 기각되면)되면 = 통계적으로 차이가 있다
- P value
- P(robability) Value
- 통계적으로 얼마나 유의미한지를 설명하는 값
- 귀무 가설이 참이라고 가정할 때, 관찰한 결과나 그보다 극단적인 결과가 우연히 발생할 확률
- 일반적으로 0.05 미만인 경우에 통계적으로 유의미하다고 판단