Ch05 Speed Matters - An End-to-End Case Study
요약
유저가 경험하는 속도는 revenue per user 와 같은 주요 지표에 영향을 줍니다. 아마존의 실험에 따르면 100 밀리 second 당 매출이 1% 감소했다는 결과가 있습니다. Bing 의 실험에서도 유사한 결과가 나타납니다. 웹사이트의 퍼포먼스를 평가할 때는 유저가 서버로부터 받는 chunk (정보 덩어리) 들의 종류에 따라서 다르게 판단해야 합니다. 먼저 들어오는 chunk 의 속도에 문제가 생기는 것이 나중에 들어오는 chunk 의 속도에 문제가 생기는 것에 비해서 유저의 이탈률을 높입니다. 그리고, 다른 페이지 요소에 따라서 유저가 겪는 경험이 다릅니다. 트위터의 경우 최초의 트윗이 유저의 경험에 중요한 지표일 수 있습니다.
어려운 개념이나 궁금했던 내용?
Figure 5.1 를 통해서 설명하고자 하는 "변화"가 무엇인가? Figure 5.1 이 있는 세션 (Key Assumption: Local Linear Approximation) 에서 treatment 가 느려질 때 주요 변수들의 변화를 그림과 연관지어 설명하는데, 로직이 이해가 가지 않는다.
실무
MongoDB + GCloud 로 클론 코딩을 deploy 한 적이 있는데, 최초 속도가 너무 느려서 (체감상 한 1초) 이 방식으로는 프로젝트를 만들 수 없는 건가 충격을 받았던 적이 있다. 사이트 내에서 두 세 번 클릭하면 속도가 좋아지는 것 같은데, 초기 속도가 너무 느리면 애초에 가입이 안 될 것 같다.
[ ] (클론 코딩) 웹사이트 수정
Ch06 Organizational Metrics
요약
Goal metric, driver metric, guardrail metric 이 자주 사용되는 지표입니다. Goal metric 은 회사의 미션과 관련이 있습니다. Driver metric 은 goal metric 을 달성하기 위한 간접적인 지표로, 유저의 행복도 등이 있습니다. Guardrail metric 은 안정성과 관련된 지표로, 유저가 경험하는 웹사이트 반응 속도가 있습니다. 그 외에도 asset metric, engagement metric, business metric, operational metric 이 중요합니다. Business metrics 은 revenue-per-user 나 DAU (daily active user) 와 같은 지표입니다. 이러한 지표는 간략해야하고, 안정적이어야하며, 기업의 목표와 관련이 있어야 하며, 수행 가능해야 합니다. 또한, 지표는 필요성을 지속적으로 평가 받아야 하며 수정이 가능합니다.
어려운 개념이나 궁금했던 내용?
DAU 가 엄청 중요한 지표라고 생각했는데, 내가 투자자 관점에서 생각한 건가 싶었다.
(블룸버그 영상) Meta’s Facebook Returns to User Growth
- Link: https://www.bloomberg.com/news/videos/2022-04-27/meta-s-facebook-returns-to-user-growth-video
- Facebook drop on avg. revenue per person
- DAU type number
- Meta Ad Revenue
실무
(1) Long-term 목표 vs. Short-term 목표
Long-term 목표와 short-term 목표가 상충하는 경우도 있는 것 같다. "지표" 관련해서 메타가 요즘 재밌는 기업인 것 같다. 메타는 메타 플랫폼으로 변화하고 싶어 하는 건데, 유저들이 VR 같은 기기를 구매하는 것이 중요하지 않을까? (나의 추측). 위의 블룸버그 영상에서 보면, long-term 목표에 너무 치중하다보면, short-term 에서 ad revenue 와 같은 단기적 목표를 놓치지 않을까 걱정하는 것 같다.
주커버그: "We made progress this quarter across a number of key company priorities and we remain confident in the long-term opportunities and growth that out product roadmap will unlock."
(여담으로, 안타까운 소식이지만) 페북의 경우에 30분 이전에 텍사스 총격 사건과 관련해서 포스팅을 미리 했다고 한다. 예전에 인스타그램의 청소년 정신 건강에 관한 문제 제기도 있었는데, 메타는 이러한 사회적 이슈에 많이 관련이 있는 회사이다.
(2) 지표로서 사회적 후생
회사의 사이즈가 카카오만큼 매우 커지면 사회적 후생에 대한 지표도 중요해진다. 아래 기사에 따르면, "소비자와 기사 편익 모두 확대하는 방향으로 설계"되었는 지가 이슈가 된다.
https://n.news.naver.com/article/092/0002254919?cds=news_my
사회적 후생과 관련하여, Uber 에서 아래 논문처럼 소비자 후생이 증가하였음을 경제학자와 함께 연구하는 모습도 보인다.
- Title: "Using Big Data to Estimate Consumer Surplus: The Case of Uber"
- Link: https://eng.uber.com/research/using-big-data-to-estimate-consumer-surplus-the-case-of-uber/
- For each dollar spent by consumers, about $1.60 of consumer surplus is generated. Back-of-the-envelope calculations suggest that the overall consumer surplus generated by the UberX service in the United States in 2015 was $6.8 billion.
(스터디 후 참고 링크)
다른 멤버분들이 공유해준 링크이다.
사업 성공을 drive 하는 지표 (drive 매트릭)으로 AARRR (Acquisition, Activation, Retention, Referral, Revenue) 와 HEART (Happiness, Engagement, Adoption, Retention, and Task Success) 에 관한 링크.
AARRR
AARRR Framework. Free Worksheet for SaaS Companies & Startups
HEART
Google’s HEART Framework for Measuring UX
여담 중 나온 개념 - 지표와도 관련이 있는듯 (C&C: Carrying Capacity 개념)
Carrying Capacity 개념을 통해 고객 정의하기
(스터디 후 더 궁금한 내용)
LTV (Customer lifetime value)
(PAP) LTV (Life Time Value) 지표 속 BG/NBD 모델과 Gamma-Gamma 모델 파헤치기
(Google Scholar "customer lifetime value" 검색 중 cite 많이 된 논문) Modeling Customer Lifetime Value