Soking 來信:數據分析的起手式 ─ 覺察變化量


哈囉,朋友

最近我在幾個工作中的情境不約而同與人討論到怎麼觀測數據,趁著記憶猶新,我想記錄下來與你分享以下幾個小故事:

  • 觀測單一數據的時間變化量
  • 比較數據來源的變化量
  • 依據關鍵指標覆盤成果的變化量

▋觀測單一數據的時間變化量 ▋

有一個新案子,目標是協助客戶進行資訊架構的改版,我帶著實習生先從「了解現況」開始著手。

實習生規劃了幾個希望客戶提供的網站數據,例如不同功能的點擊數字或是目前的網站使用人數等等,可以說是很貪心的想到什麼都希望來一點。

我忍不住詢問實習生:「你獲得這些數字之後,希望可以看到什麼結果呢?」

實習生困惑的問:「不是要了解現在的狀況嗎?」

我:「對,可是你少了一個觀察的維度,所以如果客戶的窗口真的按照你的要求,例如給你目前網站的使用者數量,那你很難看出到底 10 萬用戶是代表什麼意義。」

實習生:「Soking 說的觀察維度是指什麼呢?」

我:「所有的數據如果沒有給你時間的變化量,那這個數據都是在耍你的,你看看這個範例喔……」

我拿出兩個不同類型網站的用戶上站時間的數據圖。

我:「這兩張圖的數據非常單純,就是統計一個月內用戶在週一到週日不同時段的上站時間,因為顆粒度很細,可以到每個小時,所以光是看顏色的深淺,你彷彿就能看到不同的網站類型,使用者行為的差異。」

我:「例如動漫影音網站,白天的十點到下午五點都是流量的低谷,可是你看流量高峰出現在幾點呢?」

實習生:「大家半夜都不睡覺耶!」

我:「那你再看看新聞媒體那個網站的熱門上線時段?你會怎麼解讀使用者行為?」

實習生:「使用者上線時間居然跟上班時間重疊,而且週五的下午是流量高峰,果然週末大家都無心工作嗎?」

我:「所以你有沒有感受到,即使是很單一的上站時間這個數據,只要時間這個觀察維度提供的足夠細緻,也可以觀察出使用者行為?」

實習生:「有,我感受到了,所以如果客戶窗口只提供給我功能的點擊次數或是用戶人數,但沒有時間的話,我就只能停留在數據觀察的表層。」

▋比較數據來源的變化量 ▋

有一個顧問服務的客戶要進行新站上線之後的易用性測試,按照慣例我們也是先從了解現況開始,客戶很大方的開了 GA 的權限讓我們進去自己看。

觀察完一輪數據之後,我問客戶一些問題:「我想確認一下,你們家的行銷目前主要是用什麼方式幫網站獲取流量來源呢?」

客戶窗口:「有在經營 FB 跟 LINE,所以顧問你有看到什麼嗎?同事他們一直說看不到轉換數據很困擾。」

我花了一點時間幫客戶網站的 GA4 設定轉換事件的追蹤後,再次跟對方開會:「你想要聽好消息還是壞消息呢?」

客戶窗口:「最近新站上線訂單一直沒有起色,同事都在抱怨是使用者體驗不好,哪來的好消息啊?先聽聽看好消息?」

我:「好消息是,你們網站近 30 天的流量成長了 50%,主要的貢獻來源是行銷同事所經營的 FB 跟 LINE。」

客戶窗口:「真的假的?那我們訂單怎麼沒有起色啊?」

我:「壞消息是,你的行銷同事主要在經營的 FB 跟 LINE,這些流量來源的使用者入站之後都只停留不到 30 秒,並且從轉換事件中完全看不到,即使是去看 90 天內的初次造訪歸因,一樣沒有發生轉換。」

客戶窗口:「所以你的意思是......?」

我:「你們家網站流量成長的部分,通通都是虛榮指標,但是你們的 google 搜尋流量還有關鍵字廣告非常的穩定,有轉換的訂單都是從搜尋來的,這些都是本來就認識你們的老客戶,因為你們家的搜尋關鍵字非常單純,幾乎都是品牌關鍵字。」

客戶窗口:「那顧問你有什麼建議?」

我:「我的建議是先確認一下你們新舊站的會員資料庫,記得你有說過新站上線之後必須要重新註冊驗證會員,你們有算過舊站會員轉換到新站目前的比例嗎?」

客戶窗口:「這倒是沒有人算過!」

▋依據關鍵指標覆盤成果的變化量 ▋

有個企業客戶聯絡我,希望我去幫他們家的 PM 們上課,線上會議討論課綱的時候,我丟了幾個常見的想法給對方的窗口,沒想到不論是用戶訪談、易用性測試之類的他們都不感興趣。

結果反而是我在介紹平常顧問服務的用戶研究案流程時,提到我們會設計問卷進行資料蒐集,對方窗口眼睛一亮:「就是這個!老師你可以來教問卷設計嗎?」

我:「欸欸欸?問卷設計嗎???」

於是我就整理了游擊訪談問卷、NPS 滿意度調查問卷以及狩野分析需求問卷等幾個常見模版,再加上問卷設計基本功的一些討論點,作為這次課程的主要架構。

沒想到課程當天客戶那邊的 CEO 也來完整聽了全部的內容,還對於我將滿意度調查作為北極星指標,用來調整課程產品的故事覺得很有趣。

我遇過許多朋友不太理解為什麼要做產品使用後的滿意度調查,很容易覺得那就是你去餐廳吃飯完要填寫的問卷,像是餐廳為了得到你的個資或是送你小禮物的花招。

然而對我來說,用戶的滿意度調查一直是我衡量現場感受以外的重要參考數據。

許多上過我工作坊的朋友都聽說過,我是一個很愛持續改版課程的人,尤其是在研發一堂新課的過程中,最誇張的是會在兩三次的測試場中,幾乎將簡報 100% 全部刷新一次。

即使是已經成熟的課程,隨著動輒調整 15% 的內容量也是常有的事情。

曾經有學員上過我兩年前的用戶訪談工作坊,兩年後回來複習,驚覺課程內容完全大翻修了,連講義也變成厚厚一疊。

持續改版不是問題,問題在於我拿什麼來衡量改版,到底我成功了嗎?還是不如預期?

如果只看銷售數字根本無法當下就看出改版是否成功,畢竟同一堂課的前後版本,很少會有人在短時間之內體驗過。

因此我的作法是找出幾個主要的產品規格參數,例如課程版本、價格、人數等等,再去跟滿意度問卷調查的數字做比較。

除了我在課堂上的主觀教學感受以外,滿意度問卷調查是同學給我的回饋,告訴我他們的感受是如何?

例如同樣的課程內容,16 人來上課跟 24 人來上課,滿意度真的會起變化。

同樣的課程內容,把價錢往上調整 30%,滿意度就是會掉給你看。

如果我沒有滿意度調查的數據,我就只剩下直覺以及銷售數字。

但直覺可能會有認知偏誤,銷售數字是落後指標,只有加上使用者回饋的感受,我們評估產品的角度才足夠立體,讓我們有客觀指標作為驗證的手段,不用等到產品真的與市場需求脫軌賣不動了,才意識到需要調整產品路線。

總結一下:

  • 觀測數據時若缺少時間變化量,只能停留在表面看數字大小,很難總結出洞察。
  • 分類不同的數據來源,對比明確的轉換目標,可以辨認虛榮指標,追查有意義的數字。
  • 現場的直覺可能有認知偏誤,銷售數字是落後指標,我們需要使用者反饋意見,觀察才足夠立體。

以上三個最近發生在我工作中的關於數據的小故事,分享給你。

希望能對你有所幫助。

by Soking

Soking

千綺創意設計 Co-Founder / 產品設計總監,目前經營軟體領域的體驗設計顧問公司,也從事 UX 教學,喜歡以工作坊形式,引導你體驗 UX 領域的專業知識。 工作聯絡:service@soking.cc

Read more from Soking

哈囉,朋友 或許你也常聽到人說:「我對於人很感興趣,所以想從事 UX 相關的工作。」 那麼具體而言,從事這份工作的人們,一開始需要哪些能力呢? ▋UX 起源於心理學的應用 就像心理學拿下了諾貝爾經濟學獎。 產品設計在美感與創意之外,也開始重視將心理學應用於設計當中。 發明 UX 這個詞彙的祖師爺唐諾曼,就是一名認知心理學家。 他以心理學家的身分寫出了一本設計領域的暢銷書《設計的心理學》。 「人類的大腦有認知偏誤的天生缺陷,因此設計應該避免人類犯錯。」 這就是以體驗設計作為核心信念的設計者,所信奉的第一性原則。 要讓軟體普及化發揮影響力,就必須觀察與理解人類的使用情境,降低軟體操作的使用門檻。 流暢好用的現代軟體,都是刻意針對「系統一(直覺)」所設計的。 透過介面上的預告、暗示、行為引導、防呆設計,讓人們不用耗費太多心力就可以輕鬆達成開啟軟體的操作目的。 ▋UX 從觀察與了解人類行為開始 有句老話是這樣說的:設計是為了解決問題。 解決問題的第一步,是看懂問題的長相。 那麼從體驗設計的角度來說,解決人們遇到的問題的第一步,就是去現場看懂問題發生的情境。 如果要設計餐廳的 POS...

哈囉,朋友 我在成為數位領域的產品設計者之後,最大的發現就是自己經常處於無知與茫然的狀態。 我們要理解手上開發產品的商業邏輯,這樣才能提出符合策略的產品設計提案。 我們要洞察產品服務的使用者情境,搞懂現場的用途以及願意產生行為的動機。 我們還要設計產品服務流程,在商業目的、使用者需求與技術可行性之間取得平衡。 最後我們還要持續的評估是否還有改善的可能性。 產品真的有滿足使用者需求嗎? 產品有滿足商業目標上的期待嗎? 這些林林總總的議題,就沒有一個是簡單的,也別期待標準答案。 那麼,我們該如何在這一片混沌之中找到立足點,建立自己認知的地圖呢? 我想分享以下幾個方向,提供你作為參考: 理解利害關係人的商業目標與需求 洞察使用者情境與動機 設計產品服務流程 評估持續改善的可能性 ▋理解利害關係人的商業目標與需求 我們曾經在訪談一位 UX 主管時,聽到一段很有意思的感嘆,他說:「我們遇到的設計師大多數在學習期間,都有被訓練,或者很有意識的知道要關心使用者,去同理用戶的需求。然而,大多數的設計師卻很難去意識到,要去同理利害關係人的需求。」...

哈囉,朋友 這個週末兩天,我沉浸在與一群有趣的人,深度討論與思考,如何為自己創造有意義的工作。 在工作坊中的導師 Terence 與 Rebecca (以及助教們),溫柔又細膩的創造出具備安全感的開放性場域。 這讓來自各行各業,具備不同專業背景的夥伴,能用開放、不批評的態度,放心的深度交流。 品味 Terence 與 Rebecca 精湛的引導技術本身已經是巨大滿足。 在聆聽不同夥伴的人生際遇與「純粹意願」時,又開拓了一次眼界。 復盤了過去的點點滴滴以及對照到自己的英雄之旅,更是沉浸有趣的體驗。 學習到「探索意義感」的認知框架,讓我的人生探索百寶箱多了一個超級無敵實用工具。 與夥伴們約定之後繼續共同探索,一起做一些有趣的事情,更是意外收穫。 簡直是賺爛了。 在工作坊當中,我特別喜歡一個 Rebecca 介紹的比喻:以內在與外在的無限循環,來觀照我們自身。 有意義的工作可以從兩個重要的面向來觀看。 外在層面,有哪些行為對這個社會來說是有價值的? 內在層面,有哪些價值對我來說是有意義的? 我們最常注意的是「這個世界需要的價值」。...