市值逾五千億美元的騰訊,以其強大的社群軟體與互聯網服務聞名,其主力商品微信用戶數超過九億、QQ用戶數超過八億,從PC時代到手機時代,該公司的新產品均能抓緊趨勢轉折,關鍵就在於從用戶需求出發,能聆聽客戶說出的需要,以及洞察客戶沒說出的渴望。其產品從發想、設計、行銷、反饋,形成一個良性的改善循環。作者李立曾任職騰訊多年,親自參與多項產品開發,這些實戰所學到的經驗,均完整呈現於本書。

管理大師彼得.杜拉克(Peter Drucker)說:「如果你不能夠衡量,那你就不能夠有效增長。」數據分析工作貫穿產品設計、成長的全過程。數據是真實、客觀的,不過看數據的角度卻是主觀的。因此,與獲得「正確」的數據分析方法相比,避免陷入常見的數據誤區恐怕是更重要的事。

雷區一:新版總比舊版好

每個版本發布後,我們必須要做的數據工作就是對比分析新舊版本的數據情況。分析的指標包括但不限於版本的到訪頻率、使用時長、關鍵流程轉化率、用戶留存率等。如果直接提取兩個版本的全量用戶數據進行分析,絕大多數情況下,我們會發現新版本數據總是比舊版本好。如果不仔細分析,很容易得出「用戶果然更喜歡新版本設計」的結論。

但事實是,直接對比全量數據的分析方法是錯誤的。因為新舊兩個版本的用戶群性質存在較大差異:

新版本用戶池=舊版本升級到新版本的用戶+首次下載產品的新用戶。

舊版本用戶池=舊版本升級到新版本的用戶+舊版本未升級到新版本的用戶。

一般來說,對產品舊版本比較滿意、相對活躍的用戶更願意升級到新版本,而那些對產品不怎麼滿意的用戶很多都流失了,自然也不會升級進入新版本用戶池裡。這就導致新舊版本數據池中有差異的兩個群體:一個是中性用戶──首次下載產品的新用戶,另一個卻是負評價用戶──舊版本未升級到新版本的用戶。這樣做對比分析得到的結論自然比真實情況樂觀許多。

因此,對比分析的首要任務就是確保參與比較的兩組群體性質相似,盡可能控制住其他變量,只觀察版本變量對用戶的影響。具體做法可以選擇新舊兩個版本發布初期(如發布後七天)的新用戶來進行對比分析。這些用戶都是首次接觸產品,只有接觸的版本不同,這樣得到的結論就能更接近用戶對產品的真實反饋。

雷區二:平均數掩蓋的真相

我們看數據的時候,一定要對平均數提高警惕,因為它導出的結論常會掩蓋一些重要真相。最常見的誤區有兩種:

一、 混淆不同級別的用戶。

二、 忽視用戶分布狀況。

不同用戶對產品的意義是不一樣的。如果我們不對用戶分級,混淆起來看總體的用戶數據指標、看平均數,那麼既不能看到真正的問題在哪,也無法知道真正的增長來自哪裡。

例如一個影片類應用分析它緩沖超時(編按:指影片在播放時中斷,等待下載的時間過長)與用戶跳出率之間的關係,發現不管平均超時多嚴重,用戶的跳出率都很低,似乎對緩沖超時不在意。但進一步分析數據發現,原來有九五%是免費用戶,這些用戶不管超時多嚴重,跳出率都很低;而另外五%的付費用戶其實對超時很敏感,當超時嚴重時,跳出率明顯上升。但由於付費用戶在總用戶中占比太低,這種狀況就被總體平均數給掩蓋掉了。

所以我們分析產品數據時,一定要對用戶群分級。凡涉及「平均」指標的數據,都盡量到同級別用戶裡去做統計。

另一個平均數的誤區是:我們在談平均數據時,總會下意識的忽略用戶的分布狀況。比如,當聽到一個描述說「這個頁面的日平均瀏覽量高達兩百萬」時,深諳數據分析之道的營運管理者一定會追問「這個數據的具體分布情況如何?」因為他們腦海中會立刻反射兩張不同的圖像出來。

當數據呈常態分布時,均值可大致代表整體情況,但當數據呈長尾分布時則不然。遭遇這類情況時,我們最好截取數據最密集的一段進行分析,進而導出更具指導意義的結論。

數據中另一個值得警惕的概念是占比,一個高占比在沒有樣本總量做參考的前提下很容易誤導人。記住一條原則準沒錯:談平均不談分布,談比率不談總量,都是耍流氓。

雷區三:被誤判的渠道價值

在產品成長階段,我們會借助不同渠道進行產品推廣。內部渠道包括好友分享、贈券優惠等,外部渠道則包括各大應用市場、網站聯盟、郵件簡訊行銷等。每個渠道都對應著推廣成本,營運管理者常通過評估渠道價值來制定推廣策略。
假設有兩個渠道,渠道A和渠道B,引流能力如下:

A:為產品帶來五萬個啟動用戶,一個用戶成本十元。

B:為產品帶來兩萬個啟動用戶,一個用戶成本二十元。

直接從渠道用戶數和單用戶獲取成本來看,渠道A量大、成本低,顯然優於渠道B。如果我們對渠道的價值評估僅止於此,就落入了價值誤判的陷阱。

用戶啟動使用只能代表他們走進了產品,但這些用戶是如何使用產品的?他們對產品感興趣嗎?願意長久用下去嗎?願意付費嗎?所有這些問題我們都還不清楚。這樣評估出來的渠道價值毫無意義。

當我們評估一個渠道的價值時,本質上是要看這個渠道為我們帶來的用戶到底是誰,他們和產品契合度如何,在產品的哪一個層級上。即使都是付費用戶,付費頻率和平均客單價不同,對產品的價值也不同。

所以回到渠道A和B的比較:A:啟動五萬個,留存一萬個,付費兩千個,推薦一千四百個。B:啟動兩萬個,留存一萬個,付費六千個,推薦四千五百個。

綜合評價後結果顯示:渠道B的用戶質量反而高於渠道A。

分析渠道價值時,最好對比同期渠道數據。渠道來源並非影響用戶轉化的唯一要素,不同時期不同版本,各環節營運手段總有不同,如果還是採用逆推判斷不同時期的渠道付費成本顯然不太合理。

最後總結一下渠道誤判留給我們的教訓:有多大流量不重要,重要的是產品最終能沉澱下多大的流量。

本文出自

商業周刊第1583期 2018-03-15

中階人才西進 全面啟動

製造、影視、科技、

金融、醫療、農業...
逐條拆解「中國惠台31條」

ECFA後最大讓利》
準國民待遇,從台灣年輕人開始

這是威脅,也是禮物》
中國搶人才,是打破台灣低薪的契機

單期購買 立即訂閱