[책 A/B 테스트] (Ch04) "실험 플랫폼과 문화" Trustworthy Online Controlled Experiments

Ch04 Experimentation Platform and Culture

요약

회사의 성장에 따라서 실험의 크기도 달라집니다. 초기에는 1년에 10번 미만의 실험을 하지만, 회사가 성장할 수록 더 많은 실험을 진행할 수 있습니다. 회사 내부에서 실험 플랫폼을 제작할 수도 있으나 따로 외부의 툴을 빌려올 수도 있습니다. 여러 실험들이 동시에 진행될 때 발생하는 문제를 최소화하는 다양한 방법들이 존재합니다. 회사에서는 실험의 결과를 구성원들이 쉽게 결과할 수 있도록 시각화된 결과물을 제공할 필요가 있습니다. 

 

어려운 개념이나 궁금했던 내용?

여러 실험들이 동시에 진행될 때 발생하는 문제들을 해결(또는 최소화)하는 내용들이 잘 이해가 되지 않습니다. 

 

실무

MVP 만 있는 초기 스타트업(또는 사이드 프로젝트 단계의 프로덕트)을 위한 AB 테스팅 툴에 대해서 고민을 해보았습니다. 프로덕트가 웹인지, 아니면 어플인지에 따라서, 그리고 어떤 DB 를 쓰는지 (AWS 인지 Firebase) 인지 등에 따라서 초기에는 빌릴 수 있는 툴이 다른 것 같습니다. 파이어베이스는 웹은 지원을 하지 않고, 앱(iOS 나 안드로이드)만 AB 테스팅을 지원합니다. 파이어베이스가 백엔드를 다루지 않아도 되서 MVP 를 만들기에는 쉬운데도 불구하고, 웹 AB 테스팅이 어렵습니다. 대신 구글 옵티마이즈를 구글 파이어베이스에 연동해서 사용할 수 있는지 체크를 좀 더 체크해봐야겠습니다. 반면에, AWS 는 기능에 따라서 종류가 많습니다. Free Tier 범위 내에서 어떠한  DB 가 유용한지 좀 더 공부해야할듯하네요. 

아마존 Sage Maker 공짜 2개월

 

 

이전 포스팅인 데이터 과학 로드맵에 적어두었지만, Amazon Sage Maker 에는 ML 과 AB 테스팅이 모두 가능한듯합니다. 

 

AWS Web 서비스 데이터 과학 특화

링크: https://coursera.pxf.io/n1Z4rV

수업 3개

수업 1: 데이터셋을 분석하고 AutoML 을 이용해서 ML 모델을 훈련하기 - 총 19시간. Amazon SageMaker 다룬다. Amazon Sage Maker Autopilot 으로 텍스트 분류를 하는듯하다. 

수업 2: Build, Train, and Deploy ML Pipelines using BERT - 총 14시간. BERT(Bidirectional Encoder Representations from Transformers) 를 이용해서 더 효율적으로 NLP 작업을 하는 것 같다. 

수업 3: ML 모델의 최적화와 Deploy Human-in-the-Loop Pipelines - 총 15시간. 모델의 퍼포먼스를 높이고 비용을 줄이는 테크닉을 배우는 것 같다.  강의 설명 중 "Amazon SageMaker Hyper-parameter Tuning (HPT), you will deploy two model candidates into an A/B test to compare their real-time prediction performance and automatically scale the winning model using Amazon SageMaker Hosting"

 

Sequential Testing 관련해서 Optimizely 가 p-hacking 문제를 해결하면서도 실험 진행자가 원하는 시점에 실험을 멈출 수 있도록 문제를 해결하였습니다. 

 

Clustered randomization 처럼 spillover 문제가 발생하는 경우에 이를 해결하는 보다 고도화된 실험 플랫폼을 만들기 위한 리소스가 무엇이 있을까 더 고민을 해봐야할 듯 하네요...

 

p.s. 적고보니 공부할 내용만 적은듯합니다...