# 실험 플랫폼

# 실험 플랫폼 선정 가이드

# 실험 플랫폼의 핵심 기능

    1. Feature Flag
    1. 테스트 그룹 분배
    1. 지표 정의
    1. 실험 기록
    1. 실험 분석

# Feature Flag

  • Feature를 쉽게 On/Off 할 수 있는 기능

# 테스트 그룹 분배

  • 테스트 그룹 분배기는 user_id + salt key를 해시 함수를 실행한 후, 결과값을 숫자로 변환
  • 나온 숫자로 어떤 실험에 분배할지 결정

# 지표 정의

  • 실험에서 자주 사용되는 지표를 쉽게 정의할 수 있어야 함
  • Part 4의 지표 파트에서 나온 개념들이 모두 포함되어야 함
  • 커스텀하게 지표를 만들 수도 있어야 하며, 분자와 분모 조합으로 지표를 정의할 수도 있어야 함
  • Metric Store가 존재하면 해당 지표를 그대로 사용할 수 있으면 좋음

# 실험 기록

  • 실험 진행 상황을 확인할 수 있는 공간

# 실험 분석

  • 실험 분석한 결과를 쉽게 볼 수 있어야 하며, 실험 결과(통계적으로 유의미한지 등)를 쉽게 알 수 있어야 함
  • Segment 분석도 지원한다면 더욱 유용하게 활용할 수 있음




CC-BY-NC-ND-4.0 Licensed | Copyright 2023-present. 카일스쿨