Soking 來信:數據分析的起手式 ─ 覺察變化量


哈囉,朋友

最近我在幾個工作中的情境不約而同與人討論到怎麼觀測數據,趁著記憶猶新,我想記錄下來與你分享以下幾個小故事:

  • 觀測單一數據的時間變化量
  • 比較數據來源的變化量
  • 依據關鍵指標覆盤成果的變化量

▋觀測單一數據的時間變化量 ▋

有一個新案子,目標是協助客戶進行資訊架構的改版,我帶著實習生先從「了解現況」開始著手。

實習生規劃了幾個希望客戶提供的網站數據,例如不同功能的點擊數字或是目前的網站使用人數等等,可以說是很貪心的想到什麼都希望來一點。

我忍不住詢問實習生:「你獲得這些數字之後,希望可以看到什麼結果呢?」

實習生困惑的問:「不是要了解現在的狀況嗎?」

我:「對,可是你少了一個觀察的維度,所以如果客戶的窗口真的按照你的要求,例如給你目前網站的使用者數量,那你很難看出到底 10 萬用戶是代表什麼意義。」

實習生:「Soking 說的觀察維度是指什麼呢?」

我:「所有的數據如果沒有給你時間的變化量,那這個數據都是在耍你的,你看看這個範例喔……」

我拿出兩個不同類型網站的用戶上站時間的數據圖。

我:「這兩張圖的數據非常單純,就是統計一個月內用戶在週一到週日不同時段的上站時間,因為顆粒度很細,可以到每個小時,所以光是看顏色的深淺,你彷彿就能看到不同的網站類型,使用者行為的差異。」

我:「例如動漫影音網站,白天的十點到下午五點都是流量的低谷,可是你看流量高峰出現在幾點呢?」

實習生:「大家半夜都不睡覺耶!」

我:「那你再看看新聞媒體那個網站的熱門上線時段?你會怎麼解讀使用者行為?」

實習生:「使用者上線時間居然跟上班時間重疊,而且週五的下午是流量高峰,果然週末大家都無心工作嗎?」

我:「所以你有沒有感受到,即使是很單一的上站時間這個數據,只要時間這個觀察維度提供的足夠細緻,也可以觀察出使用者行為?」

實習生:「有,我感受到了,所以如果客戶窗口只提供給我功能的點擊次數或是用戶人數,但沒有時間的話,我就只能停留在數據觀察的表層。」

▋比較數據來源的變化量 ▋

有一個顧問服務的客戶要進行新站上線之後的易用性測試,按照慣例我們也是先從了解現況開始,客戶很大方的開了 GA 的權限讓我們進去自己看。

觀察完一輪數據之後,我問客戶一些問題:「我想確認一下,你們家的行銷目前主要是用什麼方式幫網站獲取流量來源呢?」

客戶窗口:「有在經營 FB 跟 LINE,所以顧問你有看到什麼嗎?同事他們一直說看不到轉換數據很困擾。」

我花了一點時間幫客戶網站的 GA4 設定轉換事件的追蹤後,再次跟對方開會:「你想要聽好消息還是壞消息呢?」

客戶窗口:「最近新站上線訂單一直沒有起色,同事都在抱怨是使用者體驗不好,哪來的好消息啊?先聽聽看好消息?」

我:「好消息是,你們網站近 30 天的流量成長了 50%,主要的貢獻來源是行銷同事所經營的 FB 跟 LINE。」

客戶窗口:「真的假的?那我們訂單怎麼沒有起色啊?」

我:「壞消息是,你的行銷同事主要在經營的 FB 跟 LINE,這些流量來源的使用者入站之後都只停留不到 30 秒,並且從轉換事件中完全看不到,即使是去看 90 天內的初次造訪歸因,一樣沒有發生轉換。」

客戶窗口:「所以你的意思是......?」

我:「你們家網站流量成長的部分,通通都是虛榮指標,但是你們的 google 搜尋流量還有關鍵字廣告非常的穩定,有轉換的訂單都是從搜尋來的,這些都是本來就認識你們的老客戶,因為你們家的搜尋關鍵字非常單純,幾乎都是品牌關鍵字。」

客戶窗口:「那顧問你有什麼建議?」

我:「我的建議是先確認一下你們新舊站的會員資料庫,記得你有說過新站上線之後必須要重新註冊驗證會員,你們有算過舊站會員轉換到新站目前的比例嗎?」

客戶窗口:「這倒是沒有人算過!」

▋依據關鍵指標覆盤成果的變化量 ▋

有個企業客戶聯絡我,希望我去幫他們家的 PM 們上課,線上會議討論課綱的時候,我丟了幾個常見的想法給對方的窗口,沒想到不論是用戶訪談、易用性測試之類的他們都不感興趣。

結果反而是我在介紹平常顧問服務的用戶研究案流程時,提到我們會設計問卷進行資料蒐集,對方窗口眼睛一亮:「就是這個!老師你可以來教問卷設計嗎?」

我:「欸欸欸?問卷設計嗎???」

於是我就整理了游擊訪談問卷、NPS 滿意度調查問卷以及狩野分析需求問卷等幾個常見模版,再加上問卷設計基本功的一些討論點,作為這次課程的主要架構。

沒想到課程當天客戶那邊的 CEO 也來完整聽了全部的內容,還對於我將滿意度調查作為北極星指標,用來調整課程產品的故事覺得很有趣。

我遇過許多朋友不太理解為什麼要做產品使用後的滿意度調查,很容易覺得那就是你去餐廳吃飯完要填寫的問卷,像是餐廳為了得到你的個資或是送你小禮物的花招。

然而對我來說,用戶的滿意度調查一直是我衡量現場感受以外的重要參考數據。

許多上過我工作坊的朋友都聽說過,我是一個很愛持續改版課程的人,尤其是在研發一堂新課的過程中,最誇張的是會在兩三次的測試場中,幾乎將簡報 100% 全部刷新一次。

即使是已經成熟的課程,隨著動輒調整 15% 的內容量也是常有的事情。

曾經有學員上過我兩年前的用戶訪談工作坊,兩年後回來複習,驚覺課程內容完全大翻修了,連講義也變成厚厚一疊。

持續改版不是問題,問題在於我拿什麼來衡量改版,到底我成功了嗎?還是不如預期?

如果只看銷售數字根本無法當下就看出改版是否成功,畢竟同一堂課的前後版本,很少會有人在短時間之內體驗過。

因此我的作法是找出幾個主要的產品規格參數,例如課程版本、價格、人數等等,再去跟滿意度問卷調查的數字做比較。

除了我在課堂上的主觀教學感受以外,滿意度問卷調查是同學給我的回饋,告訴我他們的感受是如何?

例如同樣的課程內容,16 人來上課跟 24 人來上課,滿意度真的會起變化。

同樣的課程內容,把價錢往上調整 30%,滿意度就是會掉給你看。

如果我沒有滿意度調查的數據,我就只剩下直覺以及銷售數字。

但直覺可能會有認知偏誤,銷售數字是落後指標,只有加上使用者回饋的感受,我們評估產品的角度才足夠立體,讓我們有客觀指標作為驗證的手段,不用等到產品真的與市場需求脫軌賣不動了,才意識到需要調整產品路線。

總結一下:

  • 觀測數據時若缺少時間變化量,只能停留在表面看數字大小,很難總結出洞察。
  • 分類不同的數據來源,對比明確的轉換目標,可以辨認虛榮指標,追查有意義的數字。
  • 現場的直覺可能有認知偏誤,銷售數字是落後指標,我們需要使用者反饋意見,觀察才足夠立體。

以上三個最近發生在我工作中的關於數據的小故事,分享給你。

希望能對你有所幫助。

by Soking

Soking

千綺創意設計 Co-Founder / 產品設計總監,目前經營軟體領域的體驗設計顧問公司,也從事 UX 教學,喜歡以工作坊形式,引導你體驗 UX 領域的專業知識。 工作聯絡:service@soking.cc

Read more from Soking

哈囉,朋友 你目前也走在一人公司 / 自僱者的路上嗎? 我離開最後一份產品經理工作,開始經營目前的產品設計顧問工作至今約九年多。 近年來一人公司的議題逐漸熱門,我也比較常跟一人公司的創業朋友聊天,發現大家很渴望交流(但又沒力氣去參加大型的創業活動),因此陸續舉辦了「創業者火烤小聚」。 我是一個提倡「多元收入、多元身分認同」的人。 ▋單一身分認同的風險 身為七年級生,我見到的前輩們往往都是在一個身分認同之下,有很深的發展。 例如做了一輩子的編輯、跑了一輩子的新聞、從事一輩子的餐飲、剪了一輩子的髮型。 然而七年級生的我們,經歷過許多次產業變遷、市場需求起起落落,終於活到了四十多歲。 似乎沒有一條路是可以穩穩當當的走下去的。 過度依賴單一職業所帶來的身分認同,所有的意義感與自我評價,就被單一體系綁住。 譬如一個人只當老師,所有的自我評價,就綁定在學校的環境當中,少了這個社會需要什麼的長期觀點。 一個人只做遊戲,就很容易陷入同溫層的資訊繭房,容易只從業界的角度看世界,從熟悉的作品產生新作品,而不是基於對世界的觀察。...

哈囉,朋友 自從 AI 產品大噴發以來,相信你也看見許多憂心忡忡的討論。 「如果 AI 取代了初階人力,產業不再聘用初階人力,那麼未來的高階人才從哪裡來?」 這篇文章我想要很發散的思考這個議題,記錄下來。 ▋Z 世代的職涯焦慮 今年我們招募實習生的時候,與這些現役的大學生、研究生聊他們的職涯焦慮。 我反覆聽到一個說法,還未認真求證。 實習生們告訴我:「現在學校參加社團的人變少很多,還有些社團倒閉了。」 為什麼呢?我繼續追問。 實習生們說:「大一、大二就開始被老師恐嚇未來很難找工作,而且現在薪資也不高,我又不喜歡做太無聊的工作,同學不是在準備出國,就是參加比賽或找實習機會。」 ▋不斷拉高的入行門檻 在十多年前,設計師要入行只需要展示作品集,並證明自己熟悉設計軟體,好像就行了。 但現在要能夠分析商業需求、提案簡報、與利害關係人溝通、知道如何團隊協作、懂專案管理、還能進行使用者研究、寫 UX writing 文案、看懂數據分析、在設計交付時考慮技術規格的標註與說明、要會 Canva、要懂社群、要知道SEO、最好還要會剪輯短影音、還要知道該如何對 AI 下提示詞。...

哈囉,朋友 在情緒價值主張高漲的年代,「產品好不好用」已經不再是重要的標準。 特別是輕易就能接觸到世界級服務的數位環境中。 好不好用,只是基本需求。 情緒價值的年代,人們選擇品牌與服務時,是基於「情緒感受」與「認同感」。 而行為設計(Behavior Design)正是幫助我們理解並引導人們情境中的小決策、小動作,進而塑造整體體驗感受的關鍵。 行為設計不是「我們該如何說服顧客打卡?」 行為設計是「我們如何讓顧客忍不住掏出手機來打卡?」 行為設計不是「給你一堆資訊,告訴你該怎麼做」 行為設計是「改變環境、流程、提示與回饋系統,讓使用者自然地、無壓力地去行動。」 行為設計不是「設計好看的東西」 行為設計是「設計讓人們去做某件事的環境」 行為設計是一們綜合心理學、行為科學與設計思考,用來塑造人們的行為選擇,使人更容易做出期望中的行為,或避免不希望的行為。 ▋法格行為模型(Fogg Behavior Model) 行為設計的鼻祖,是史丹佛大學行為設計實驗室的創辦人法格教授(BJ Fogg)。 法格教授的研究與實踐成果,風靡了矽谷一整代的產品設計師們,成為美國產品設計領域的顯學。...