콴다 팀의 실험 플랫폼과 Metrics Store

• 자세한 내용은 아래 링크에서 확인할 수 있습니다!
• QANDA Team의 실험 플랫폼, QXP를 소개합니다. (opens new window)
• 실험 의사결정 가이드 자동화 : QXP Tracker (opens new window)
• Metric을 체계적으로 관리하기 : Metrics Store (opens new window)
  • 콴다 데이터팀 팀장님에게 사용 허락을 받았습니다

콴다 팀 소개

• 한국 초,중,고 3명 중 2명이 쓰는 국민 교육 앱
• 50여개 국가, 8개 언어로 서비스 중인 글로벌 앱

콴다 실험 플랫폼(QXP - QANDA eXperimentation Platform)

• QXP
  • 실험 진행
  • QXP Admin
  • 실험 결과 집계(Tracker)
• 별개로 Metrics Store가 존재하며, 실험 플랫폼과 같이 사용할 수 있음

• Metric을 저장하는 Metrics Store와 QXP가 연동되어서 지표 정의할 때 쉽게 활용할 수 있음

• 실험 시작 후, 매일 실험 Reporting을 통해 사람들의 Action 촉구
• 실험 관련 가이드라인, 지표를 확인할 수 있는 곳을 제공

• Holistics의 Dashboard를 사용해서 실험 지표를 확인함
• Dashboard Template이 존재하고, 이것을 복제한 후 실험 ID만 변경해서 실험 지표를 확인함

• 실험 결과 집계 과정은 QXP Admin에 선언된 성공 지표, 가드레일 지표를 가지고 Metrics Store로 결과 집계한 후 Decision Tree로 의사 결정

• 콴다 팀의 실험 Decision Tree

이 사례에서 배울 점

• Metrics Store + 실험 플랫폼을 연계해서 구현한 점이 매우 인상적
• 실험 의사 결정을 위한 자동화 진행
  • Dashboard 템플릿
  • 의사 결정 Decision Tree
  • 지표 슬랙 알림
• 실험 Decision Tree를 가지고 자동으로 계산
• 데이터 인프라를 통해 문화를 쌓고 있다는 것을 보여주는 사례(글에서 BigQuery에서 어떻게 구현했는지 나옴)

---