Soking 來信:數據分析的起手式 ─ 覺察變化量


哈囉,朋友

最近我在幾個工作中的情境不約而同與人討論到怎麼觀測數據,趁著記憶猶新,我想記錄下來與你分享以下幾個小故事:

  • 觀測單一數據的時間變化量
  • 比較數據來源的變化量
  • 依據關鍵指標覆盤成果的變化量

▋觀測單一數據的時間變化量 ▋

有一個新案子,目標是協助客戶進行資訊架構的改版,我帶著實習生先從「了解現況」開始著手。

實習生規劃了幾個希望客戶提供的網站數據,例如不同功能的點擊數字或是目前的網站使用人數等等,可以說是很貪心的想到什麼都希望來一點。

我忍不住詢問實習生:「你獲得這些數字之後,希望可以看到什麼結果呢?」

實習生困惑的問:「不是要了解現在的狀況嗎?」

我:「對,可是你少了一個觀察的維度,所以如果客戶的窗口真的按照你的要求,例如給你目前網站的使用者數量,那你很難看出到底 10 萬用戶是代表什麼意義。」

實習生:「Soking 說的觀察維度是指什麼呢?」

我:「所有的數據如果沒有給你時間的變化量,那這個數據都是在耍你的,你看看這個範例喔……」

我拿出兩個不同類型網站的用戶上站時間的數據圖。

我:「這兩張圖的數據非常單純,就是統計一個月內用戶在週一到週日不同時段的上站時間,因為顆粒度很細,可以到每個小時,所以光是看顏色的深淺,你彷彿就能看到不同的網站類型,使用者行為的差異。」

我:「例如動漫影音網站,白天的十點到下午五點都是流量的低谷,可是你看流量高峰出現在幾點呢?」

實習生:「大家半夜都不睡覺耶!」

我:「那你再看看新聞媒體那個網站的熱門上線時段?你會怎麼解讀使用者行為?」

實習生:「使用者上線時間居然跟上班時間重疊,而且週五的下午是流量高峰,果然週末大家都無心工作嗎?」

我:「所以你有沒有感受到,即使是很單一的上站時間這個數據,只要時間這個觀察維度提供的足夠細緻,也可以觀察出使用者行為?」

實習生:「有,我感受到了,所以如果客戶窗口只提供給我功能的點擊次數或是用戶人數,但沒有時間的話,我就只能停留在數據觀察的表層。」

▋比較數據來源的變化量 ▋

有一個顧問服務的客戶要進行新站上線之後的易用性測試,按照慣例我們也是先從了解現況開始,客戶很大方的開了 GA 的權限讓我們進去自己看。

觀察完一輪數據之後,我問客戶一些問題:「我想確認一下,你們家的行銷目前主要是用什麼方式幫網站獲取流量來源呢?」

客戶窗口:「有在經營 FB 跟 LINE,所以顧問你有看到什麼嗎?同事他們一直說看不到轉換數據很困擾。」

我花了一點時間幫客戶網站的 GA4 設定轉換事件的追蹤後,再次跟對方開會:「你想要聽好消息還是壞消息呢?」

客戶窗口:「最近新站上線訂單一直沒有起色,同事都在抱怨是使用者體驗不好,哪來的好消息啊?先聽聽看好消息?」

我:「好消息是,你們網站近 30 天的流量成長了 50%,主要的貢獻來源是行銷同事所經營的 FB 跟 LINE。」

客戶窗口:「真的假的?那我們訂單怎麼沒有起色啊?」

我:「壞消息是,你的行銷同事主要在經營的 FB 跟 LINE,這些流量來源的使用者入站之後都只停留不到 30 秒,並且從轉換事件中完全看不到,即使是去看 90 天內的初次造訪歸因,一樣沒有發生轉換。」

客戶窗口:「所以你的意思是......?」

我:「你們家網站流量成長的部分,通通都是虛榮指標,但是你們的 google 搜尋流量還有關鍵字廣告非常的穩定,有轉換的訂單都是從搜尋來的,這些都是本來就認識你們的老客戶,因為你們家的搜尋關鍵字非常單純,幾乎都是品牌關鍵字。」

客戶窗口:「那顧問你有什麼建議?」

我:「我的建議是先確認一下你們新舊站的會員資料庫,記得你有說過新站上線之後必須要重新註冊驗證會員,你們有算過舊站會員轉換到新站目前的比例嗎?」

客戶窗口:「這倒是沒有人算過!」

▋依據關鍵指標覆盤成果的變化量 ▋

有個企業客戶聯絡我,希望我去幫他們家的 PM 們上課,線上會議討論課綱的時候,我丟了幾個常見的想法給對方的窗口,沒想到不論是用戶訪談、易用性測試之類的他們都不感興趣。

結果反而是我在介紹平常顧問服務的用戶研究案流程時,提到我們會設計問卷進行資料蒐集,對方窗口眼睛一亮:「就是這個!老師你可以來教問卷設計嗎?」

我:「欸欸欸?問卷設計嗎???」

於是我就整理了游擊訪談問卷、NPS 滿意度調查問卷以及狩野分析需求問卷等幾個常見模版,再加上問卷設計基本功的一些討論點,作為這次課程的主要架構。

沒想到課程當天客戶那邊的 CEO 也來完整聽了全部的內容,還對於我將滿意度調查作為北極星指標,用來調整課程產品的故事覺得很有趣。

我遇過許多朋友不太理解為什麼要做產品使用後的滿意度調查,很容易覺得那就是你去餐廳吃飯完要填寫的問卷,像是餐廳為了得到你的個資或是送你小禮物的花招。

然而對我來說,用戶的滿意度調查一直是我衡量現場感受以外的重要參考數據。

許多上過我工作坊的朋友都聽說過,我是一個很愛持續改版課程的人,尤其是在研發一堂新課的過程中,最誇張的是會在兩三次的測試場中,幾乎將簡報 100% 全部刷新一次。

即使是已經成熟的課程,隨著動輒調整 15% 的內容量也是常有的事情。

曾經有學員上過我兩年前的用戶訪談工作坊,兩年後回來複習,驚覺課程內容完全大翻修了,連講義也變成厚厚一疊。

持續改版不是問題,問題在於我拿什麼來衡量改版,到底我成功了嗎?還是不如預期?

如果只看銷售數字根本無法當下就看出改版是否成功,畢竟同一堂課的前後版本,很少會有人在短時間之內體驗過。

因此我的作法是找出幾個主要的產品規格參數,例如課程版本、價格、人數等等,再去跟滿意度問卷調查的數字做比較。

除了我在課堂上的主觀教學感受以外,滿意度問卷調查是同學給我的回饋,告訴我他們的感受是如何?

例如同樣的課程內容,16 人來上課跟 24 人來上課,滿意度真的會起變化。

同樣的課程內容,把價錢往上調整 30%,滿意度就是會掉給你看。

如果我沒有滿意度調查的數據,我就只剩下直覺以及銷售數字。

但直覺可能會有認知偏誤,銷售數字是落後指標,只有加上使用者回饋的感受,我們評估產品的角度才足夠立體,讓我們有客觀指標作為驗證的手段,不用等到產品真的與市場需求脫軌賣不動了,才意識到需要調整產品路線。

總結一下:

  • 觀測數據時若缺少時間變化量,只能停留在表面看數字大小,很難總結出洞察。
  • 分類不同的數據來源,對比明確的轉換目標,可以辨認虛榮指標,追查有意義的數字。
  • 現場的直覺可能有認知偏誤,銷售數字是落後指標,我們需要使用者反饋意見,觀察才足夠立體。

以上三個最近發生在我工作中的關於數據的小故事,分享給你。

希望能對你有所幫助。

by Soking

Soking

千綺創意設計 Co-Founder / 產品設計總監,目前經營軟體領域的體驗設計顧問公司,也從事 UX 教學,喜歡以工作坊形式,引導你體驗 UX 領域的專業知識。 工作聯絡:service@soking.cc

Read more from Soking

哈囉,朋友 我們常常在講某個東西不好用,或者某些服務體驗不好。 有些情況是,我們走進一個陌生的店家,但卻看不懂他們在賣什麼。 有些情況是,我們去逛新開的百貨商圈,被樓層空間的複雜動線搞到迷路。 又或者我們舉辦了一個活動,參與者無法理解當下該如何進行。 又或者我們規劃了一個流程,使用者一直卡關,抱怨複雜看不懂。 相信這類情況,也經常出現在你的工作與生活當中,造成許多困擾。 如果你希望可以早早就避免踩到這些地雷陷阱,不要重複犯錯。 那麼先看懂陷阱的長相,絕對會有很大的幫助。 因此,我想與你分享六個造成體驗不佳最常見的主要原因: 用途不明確 無法理解 挫折太多 說明太複雜 動線曲折離奇 分類層級曖昧 ▋用途不明確 如果使用者無法聯想眼前的服務有哪些用途,那就是個沒用的東西。 例如去異國的農夫市集逛街時,看見各種不同的香草植物或是香料。 這對於有烹飪興趣或是芳療有認識的人來說,可能會興致盎然。 但換成只對電子器材、3C 設備感興趣的人來說,會完全不理解要在這裡逛什麼。 我們對於「用途」的預判,取決於過往的經驗。...

哈囉,朋友 我們常常會聽到,人們在使用產品服務時,抱怨體驗不佳。 但同樣的產品,其他人又會覺得還好,沒什麼感覺。 有些人因此放棄理解顧客的聲音,認為人就是有千百種樣貌。 然而,有些人會開始蒐集顧客抱怨的類型,並且尋找出最有可能的原因。 這些看起來最懂顧客心聲的高手,平常看似在漫無目的的蒐集線索。 但其實他們的腦袋中有一個地圖,正在按圖索驥的系統化洞察顧客體驗。 我想與你分享的,就是洞察顧客體驗的專家,腦袋中的三個檢查清單: 需求情境 服務流程 有效訊息 ▋檢查清單一:需求情境有哪幾類? 人們會使用特定產品服務的理由是有限的。 放棄理解顧客的人,會覺得顧客來來去去,是因為各種隨機的理由而來消費。 但每一個產品服務,背後對應到的需求類型,其實是可以被歸納出來的。 例如已經上班的人,花錢去上課的理由有: 職業發展上需要進修(升職、轉職、求職) 他人的期望(主管要求、看到身邊的人上課被影響、家人朋友的建議) 發展社交關係(認識新朋友、結交人脈、改善社交關係) 社會服務與公民意識(改善社會問題、參與地方社區、回應社會議題) 提昇認知(滿足求知慾、避免落伍、滿足心靈渴求)...

哈囉,朋友 我們在專業工作上最容易遇到的問題,是人與人之間的溝通問題。 產生溝通問題的原因,是認知落差。 ▋沒有兩個人是一樣的 在對方腦袋中的理所當然,不見得相容於我們腦袋中的作業系統。 在我們覺得重要的規範或標準,可能對方一無所知,但又理直氣壯自己的無知。 這些都是隱藏在溝通當中的前提假設。 腦袋中的認知落差,加上語言表達的曖昧模糊,造就了溝通的困難。 而溝通困難讓溝通場景中的情緒壓力提昇,參與者的不耐煩以及立場對撞,讓溝通進入負向循環。 但有沒有一種可能,你是對的,我也是對的? 又或者有沒有一種可能,我們不需要百分之百的互相認同,只需要確認彼此之間的認知,有哪些共識? 我想與你介紹,我在產品設計顧問這份工作上,是如何運用「概念模型」,在複雜又龐大的專案溝通當中生存下去的撇步。 ▋取得共識的第一步:將概念視覺化 千萬不要小看人的大腦。 我們大腦中的工作記憶區,簡直是小的看不到。 承認吧,在大多數的情況下,我們的工作記憶表現,跟金魚差不多。 開會的時候,許多人可能還會一邊想著其他事情。...