AB 테스팅 (온라인 실험)

구글 Optimize AB 테스팅

마빈 Marvin 2022. 6. 22. 00:11

 

들어가며

 

웹으로 해빗트래커를 제작해서 구글 옵티마이즈로 실험을 진행해보았다. 랜딩페이지를 수정했을 때 사람들의 페이지 뷰에 미치는 영향을 분석할 수 있다. 

 

How to? 

 

이런 웹사이트를 하나 제작했다. 

 

내가 웹으로 제작한 해빗 트래커 링크: https://habittracker-53889.web.app/

 

 

 

중간에 구글 애널리틱스에 옵티마이즈 태깅도 했다. 

 

 

 

 

실험을 제작해 보았다 했다. 가설은 구글 닥스로 가이드를 만들면 페이지 뷰가 더 늘어날 것이다이다 (가입률을 구하고 싶었는데, 옵티마이즈에는 지표가 보이지 않았다).

 

 

휴대폰 기기가 두 개 있어서 두 개 해보았는데, 하나는 가이드로 가는 링크가 있었고, 다른 하나는 가이드가 없었다. 

 

가이드가 없는 초기화면 (control group)

 

 

가이드가 있는 초기 화면 (treatment group)

 

 

유저가 두 그룹으로 배정된 것을 볼 수 있다. 

 

 

 

 

홍보 이후 하루 지났더니 사람들이 찾아온 것을 볼 수 있었다. 

 

 

아래 그림처럼 시각화된 경험도 벼우준다. 일별 결과는 아니고 해당일에 누적된 유저별 페이지뷰 값으로 보인다. 액티브 유저가 있을 때는 위의 그림처럼 신뢰구간도 보여주는데, 그렇지 않을 때는 아래 그림처럼 데이터가 부족하다고 나온다. 

 

두 그룹의 평균 차이를 시각화해서 보여준다. 누적된 유저별 페이지뷰 값인 것 같다.

 

베이지언 분석을 한다고 하는데, 화면 속의 신뢰구간이 어떻게 구해졌는지 좀 더 공부해보아야할 것 같다.

 

 

마치며

구글 옵티마이즈에서 구매와 관련된 지표들은 많은데 가입률과 같은 내가 원하는 커스텀한 지표가 보이지 않아서 아쉬웠다. 방문자들의 로그 데이터가 있어야할 것 같은데, 빅쿼리 (BigQuery) 를 좀 더 공부해보아야겠다. 

 

그리고 사람들이 제품에 가입시키도록 하는 것이 어렵구나 하는 것을 배웠다. 해빗 트래커는 내가 필요해서 만든 프로덕트인데 사용자의 관점에서 더 고민해야 하는구나 하는 생각이 들었다. 그리고 가입 전에 좀 더 이 프로덕트가 무엇인지에 대해서 사람들이 직접 클릭해보면서 생각해볼 수 있도록 하는 시간이 필요하겠구나 싶었다. 

 

다음에 할 일은 유저들이 쉽게 클릭해볼만한 프로덕트 만들기와 빅쿼리로 로그 데이터 존재 여부 찾아보기가 될 것 같다.