실험 설계
실험
- 성장을 위해 직관과 데이터를 모두 활용하는 방식으로 보완
- 이는 실험
- 대표적인 실험 AB Test
- 앱, 웹에서 하나의 화면에 2가지 버전(A, B)을 동시에 배포해 지표를 확인하는 실험
- 직관과 데이터에 기반해 가설 생성
- 실험을 통해 가설의 결과 확인
- 이외에도 프로토타입을 만들어서 사람들이 설문조사를 하도록 하는 것도 실험
- 실험을 해야하는 이유
- 데이터 기반 의사 결정 프레임워크를 만들 수 있으며, 더 좋은 결정을 할 수 있음
- 현실엔 불확실성이 너무 많기에 리스크를 줄이면서 진행해야 함
실험을 시작하는 기준
- 모든 것을 실험할 수 있는 것은 아니며, 모두 다 실험해야 하는 것은 아님
- 충분한 사용자 수가 존재하는 경우
- 평가 지표를 정의할 수 있는 경우
- 사용할 수 있는 리소스가 존재하는 경우(개발, 데이터)
- 실험군과 대조군이 서로 간섭하지 않는 경우
- 법적인 이슈가 없는 경우
- 실험을 통해 배울 마인드가 존재하는 경우
실험할 리스트 파악하기
- 처음 실험을 진행한다면 많은 실험보단 하나의 실험을 잘 완수하는 것을 추천
- 비즈니스 임팩트가 큰 실험을 해보는 것을 추천
- 제품의 구매 퍼널 확인
- 제품 관점에서 제일 중요한 퍼널을 개선하는 것을 먼저 진행
- 퍼널의 역순(즉, 결제쪽부터 확인)부터 시작해서 앞단으로 가면서 고민
- 데이터로 실험할 영역에 하루에 몇 명이 접근하는지(pageview 등으로 파악) 확인해서 얼마나 영향을 미칠지 계산하기
주요 실험 소재
- (제품) 특정 화면에서 A라는 기능이 있는 경우와 없는 경우 전환율 차이는?
- (제품) 어떤 문구를 사용할 경우 전환율이 높을까?
- (제품) B라는 기능이 추가되면 신규 유저가 우리 제품에 더 만족할까?
- (마케팅) Push 메세지를 어떻게 보내야 전환율이 높을까?
- (알고리즘) 어떤 추천 시스템이 유저에게 더 잘 추천했다고 볼 수 있을까?
- (프로모션) 어떤 고객에게 할인 쿠폰을 줘야 효과적일까?
조직 실험 문화 역량 레벨
- 여러분이 속한 조직의 실험 문화 역량 레벨을 확인하고 하나씩 올리기 위해 무엇을 해야할지 고민해보기
