[Publy] 그로스 전문가가 알려주는 '지표를 볼 때 반드시 해야하는 N가지 질문'

Summary

지표의 정확한 정의 따지기

• 지표의 정의가 뭔지 정확히 확인하자
• '분자'와 '분모'에 각각 무엇이 들어가는지 확인하자
• 계산식에 무엇을 포함시켰는지, 무엇을 제외했는지 확인하자
• 지표 측정 기간을 어떻게 설정했는지 확인하자

좋아 보이는 지표는 일단 의심하기

• 지표의 정의를 확인한다.
• '다른 이야기'를 드러낼 수 있는 지표(counter metric)를 생각해 본다 → 사용자 수(획득 지표)를 강조하는 경우, 리텐션 지표 확인

대시보드의 지표는 실행과 연결하기

• 의사결정과 실행에 활용하지 않으면 소용이 없다

Review

지표란 중요하다. 사람들은 숫자를 보고 속거나 의심한다. 나는 전자에 가까웠고, 데이터 분석을 배우고 관련 글을 읽으면서 의심하려고 노력하고 있다. 저자는 데이터를 볼 때 기술만큼 중요한 것이 `의심`과 `집요함`이라고 말한다. 그동안 나는 내가 궁금한 것만 집요하게 팠기 때문에 반만 가지고 있다고 할 수 있다. 이제 그럴듯한 지표를 보면 어? 이상한데? 라고 일단 의심부터 할 생각이다. 그렇게 해서 내 의견이 맞았다면 다행인 거고, 틀리면 오히려 좋다.

`출시한 지 몇 달 만에 100만 다운로드를 돌파했다.`라는 보도자료는 정말 많이 봐왔다. 다른 글에서 봤듯이 누적 다운로드 수는 허무 지표라는 대표적인 함정 지표라고 말할 수 있다. 중요한 것은 100만이라는 대단한 수만큼 그 지표의 의미를 제대로 파악해야 한다는 점이다. 실제로 서비스를 사용하는 사람은 몇 명이나 되는지, 왜 리텐션 지표는 언급하지 않았는지에 대해서 말이다. 이와 같은 시각을 가지게 되면 전과 같은 보도자료를 봐도 회사의 상황을 더 잘 파악할 수 있을 것이다. 나는 아마 만들어진 데이터를 보는 입장보다 지표를 만드는 입장이 될 것 같은데, 이런 질문을 받는다 생각하면 조금 두렵긴하다. 하지만 누군가가 가진 의문과 질문으로 같이 근거를 찾는 방식은 재밌을 것 같다.

Keyword

• 도제식 특정한 기술이나 노하우를 가진 사람이 제한된 사람에게 직접 가르치는 교육방법
• 리텐션 커브(retention curve) 리텐션율을 시각화한 것
• 평평해지는 커브(flattening curve) 프로덕트를 이용해 본 사용자들 중 일부가 프로덕트에서 가치를 얻고, 시간이 지나도 계속해서 프로덕트로 돌아온다는 의미
• 감소하는 디텐션 커브(declining curve) 프로덕트가 PMF(Product Market Fit)를 달성하지 못해서 아주 적은 사용자만 남거나 모두 이탈하는 경우를 의미
• 증가하는 리텐션 커브(smiling curve) 프로덕트가 발전함에 따라, 그리고 네트워크 효과가 발생함에 따라 이탈했던 사용자들이 되돌아오는 예외적으로 좋은 현상을 의미
• CAC(ustomer Acquisition Cost) 고객 획득 비용. 고객이 제품 또는 서비스를 구매하도록 유도하는 비용. 
• 멱 법칙(power law) 한 수가 다른 수의 거듭제곱으로 표현되는 두 수의 관계를 의미하는데, 이 경우에는 '소수의 구매자들이 구매 건수 중 대부분을 차지한다'라고 이해하면 쉽다.
• 고객 평생 가치(Life Time Value, LTV) 한 명의 고객이 기업과 거래를 시작한 다음 이를 멈출 때까지의 기간 동안 기업에 얼마만큼의 이익을 가져왔는가를 정량적으로 합한 것
• 성공 극장(success theater) 사업이 잘 되고 있지 않은데, 잘못된 지표로 좋은 성과를 내고 있다고 자랑하는 것

Link

https://publy.co/content/6673

그로스 전문가가 알려주는 '지표를 볼 때 반드시 해야하는 N가지 질문'