[책 A/B 테스트] (Ch01) "책 시작하기" Trustworthy Online Controlled Experiments

프로덕트 분석가와 데이터 분석가분들 사이에서 많이 회자되는 책을 PAP 스터디를 통해서 시작하게 되었다. 한글판은 최근에 나왔다고 하니 한글로 공부하고 싶으신 분들은 교보문고에서 구매하면 될 것 같다. 영문 제목은 "Trustworthy Online Controlled Experiments" 이다. 

 

한글판 (교보문고) 링크

Ch 01 Introduction and Motivation

 

- 요약

 

실험(또는 A/B 테스트)은 데이터를 기반한 의사결정을 기업이 할 수 있도록 돕습니다. 기업의 현재 상황에 적합한 주요 지표를 설정하고, 새로운 정책이 지표를 개선시키는 지 평가할 수 있습니다. 또한, 새로운 MVP (Minimum viable product) 을 적은 리스크로 테스트해볼 수 있습니다. 

 

- 어려운 개념이나 궁금했던 내용?

 

(p.17) CTR (Click Trhough Rate) 이 웹페이지에서 (책의 예시에서) 신용카드 관련 오퍼를 유저가 클릭(선택)하는 비율을 말하는가? 

 

- 실무 적용? 

 

실험 플랫폼을 제작하고자 하는데, MVP (Minimum viable product) 을 만들어서 배포하고자 할 때, 5명 이내의 적은 조직에 적합한 DB (데이터 베이스)는 무엇일까? 파이어베이스? AWS? 어떤 것이 적합할까? 

 

Note: 파이어베이스는 다른 블로그를 살펴보니, 실험 시 대조군과 실험군을 선택하거나 실험 기간을 선택하는데 제약이 존재한다 (링크: 당근마켓 팀블로그: 1주 1개 실험하는 프로덕트 팀이 되는 여정).