生態系統資料科學家的核心問題：質疑指標而非追逐指標
>>: 在大型科技公司裡，每個團隊都全神貫注地完成自己的KPI。他們總是贏，而且他們是透過提高關鍵績效指標 (KPI) 來贏得比賽的。如果優化某些使用者指標反而讓整個產品體驗變差了怎麼辦？
我想說的是，大概在 2019 年左右，Facebook 應用程式整體表現非常出色。但我們發現，它對年輕人來說，音樂方面做得並不像我們那麼好。我們進行了聚類分析，觀察了趨勢，研究了實驗結果，發現這正是導致技術生態系統中最強大但又最容易被誤解的角色之一——資料科學家——的核心問題。他們的工作不是追逐指標，而是質疑指標。
為了深入探討這個角色，我邀請了兩位傑出的嘉賓。金，曾任 Facebook 生態系統資料科學家主管。然後他在 Instacart 領導了一個由 60 名數據科學家組成的團隊，負責班級成長和廣告。現在他是 Growth Therapy 的數據主管。
還有 Facebook 市場數據科學主管 Mujtaba。他同時領導產品團隊和生態系統數據科學團隊。
我們有一些老生常談的問題，每隔幾年就要重新審視一次。[音樂] 我們一直有這樣一個問題，那就是我們是否應該優先考慮某些地區而不是其他地區？每隔幾年，我們都會回答同一個問題。我們關注同樣的趨勢，關注同樣的優先事項，例如[音樂]，我們是否仍然對目前的投資方向感到滿意，或者我們是否應該優先考慮一些新興的不利因素？
[音樂] 我覺得我遇到的常見問題是，我們呈現相同的數據，但我們卻不改變我們的決定。對我來說，最大的問題始終是我如何將我的音樂與 Kim 和 Mujtaba 曾經合作的音樂風格聯繫起來。他們將反思自己是如何只見樹木不見森林的。
DS產生影響的最快方法就是團滅一支隊伍。但是，你不能在球隊經理這個層面上毀掉一支球隊。你需要向上追溯兩到三層才能找到合適的激勵措施。生態系統資料科學家可能需要將我們提出的許多建議提交給相關領導人。我認為我們沒有幹掉任何隊伍。
你可以提醒我我是否錯了，但是，嗯，也許、也許，那是一個錯失的機會。並非沒有嘗試過。我相信我們當時可能確實想這麼做。
如何影響公司整體策略，以及為什麼最有影響力的工作往往是那些無形的工作。我們也討論了哪些類型的組織需要生態系統資料科學家。為什麼是生態系資料科學家而不是生態系工程師或產品經理？以及什麼樣的人真正適合這個角色？
我們走吧。讓和穆什塔巴。穆什塔巴，這是你第二次上我的播客節目了。你提到Jean以前在Facebook做過倉庫管理員。
>>: 是的，Jean以前是我在生態系統方面的啟蒙老師。他是加入這支球隊的原因之一，讓它如此引人入勝。
>>: 哦，聽到這個消息真是太棒了。我以為你也是那樣加入的，所以聽到這個消息我很高興。
>>: 之後他很快就拋棄了我，所以我必須自學，但這絕對是我加入的原因之一。
>>: 自從穆什塔巴加入後，我就沒什麼事可做了。你知道，他幾乎把所有事情都安排好了。所以，我其實已經描述了生態系資料科學家的性格特徵。
>>: 嗯，我覺得這比較是我們團隊特有的問題。我認為我們選擇聘用了一群有點傲氣、但又不張揚的人。嗯，我認為這對這類角色來說很重要，所以也許你是對的，這是團隊的共同點。嗯，是的，我認為我們在招募方面做得非常出色，所以至少在我任職期間，我認為我們整體上擁有一支全明星團隊。
什麼是生態系統DS：優化連接與全局網絡
>>: 我會向你闡述我對生態系統 DS 的一些偏見或理解，以及為什麼這個特性是一個重要的面向。所以，我對資料科學家的理解已經非常抽象，很難描述。生態系統是一個抽象的概念，難以描述。那麼，把這兩件事放在一起，又意味著什麼呢？
在我看來，你從事的工作非常複雜，就像 Meta 或其他大型科技公司裡存在的工作。所以這一點可能會受到質疑。如果你覺得不對，就來質疑我。但是，在大公司裡，你有很多層面，有很多人，有很多流程和程序，現在它變成了一個生態系統，有人負責讓事情變得更好，這其中也涉及到數據方面，是的，這個生態系統正在努力做到這一點，因為人們透過關係和自然聯繫相互合作。所以，與其說是優化某個點，不如說是優化連線或網路。
>>: 是的，我認為這總體上是正確的觀點。我會談談我的看法，穆斯塔法，我覺得你最近更接近實際工作，我很好奇你的想法。
所以我認為你是對的，這種情況並非大公司獨有，而是大公司普遍存在的現象。我認為部分原因是，我與大多數大公司的人交談後發現，他們的結構非常特殊，基本上各個部門或單位都被隔離。
以 Facebook 為例，每個人都使用 Facebook 應用，當你使用 Facebook 應用程式時，你會把它看作是一個大型應用，但實際上它內部還有群組、市場、通知等功能。過去，這些都是各自獨立的團隊，有著各自獨立的目標、優化方向、工作方式等等。從某種意義上說，它是一家公司中的公司。這些團隊，尤其是像 Facebook 這樣的公司，都在以每小時 10000 英里的速度朝著目標前進，他們實際上並沒有花太多時間環顧四周，只見樹木不見森林。
因此，以 Facebook 為例，生態系統團隊的角色在於了解這些團隊正在努力實現或試圖完成的事情是否真的對 Facebook 整個產品有益，或者是否是最佳選擇。嗯，舉個例子，假設影片團隊正在做一些事情，讓人們觀看的影片數量增加了一倍。驚人的。他們做得非常出色。但如果這導致人們與朋友的互動減少了百分之幾，那這還是一份好工作嗎？你怎麼知道？
嗯，要理解這些事情正是生態系團隊的職責。所以，情況很複雜，但我認為複雜性並不是其決定性特徵。我認為連結性才是其決定性特徵。
>>: 是的，我覺得你和吉娜都描述得非常到位。我認為這很能解釋為什麼我見過的大多數生態系統團隊都是這樣成立的。這就像有人認為沒有人退後一步，真正去審視該地區的整體健康狀況。每個人都只是按照命令朝著各自的目標前進，沒有人停下來思考這一切是否健康？
我們經常談論這個問題。例如我們不提供組織結構圖。雖然公司內部我們都在關注組織結構圖，但使用者關注的只是整體體驗。他們不會注意到群組是否不同，或者影片是否不同。他們會說：「我覺得用Facebook很奇怪。」所以，我們希望有人能從這個角度思考問題。
至少我最近注意到，在我們這邊，增加了一層額外的考量，例如某些問題需要有人專注於生態系統團隊，而這些團隊並不完全屬於任何單一產品團隊。所以，我們有時也會充當各種雜項的收割機，這些雜項不直接屬於產品團隊。例如，我們團隊經常會遇到這樣的問題：我們的應用程式如何與其他應用程式互動？所以，你可以思考 Facebook 如何與 TikTok 互動，或是 Facebook 如何與 WhatsApp 或 Instagram 以及其他同系列應用程式互動？它並不完全屬於視訊範疇，因為它包含視訊元素，但也包含資訊傳遞元素。此外，還有朋友和家人的因素。它不屬於任何一個單獨的團隊，但擁有像我們這樣對整個生態系統有一定橫向理解的團隊也很有好處，可以解決一些容易被忽略的問題。
>>: 我記得有個挺有趣的故事，而且我覺得你肯定在場。曾經有一段時間，我的團隊發現印度出現了一些令人擔憂的趨勢，Facebook 應用在印度的整體相關性或健康狀況不如在世界其他地區那麼好。我清楚地記得，當時菲吉是 Facebook 的負責人，她基本上找到了她手下所有負責特定業務領域的負責人，說：「嘿，我需要你們幫我解決印度的問題。」
然後，我想她去找了當時負責新聞推送的人，那個人提出了一個非常棒的新聞推送解決方案。她說：「不，不，不。我需要一個整體的解決方案。」
然後她去找了當時好像在做視頻或遊戲的人，也許是 Vijay，她說：「嘿，你能幫我解決一下這個印度問題嗎？」他帶著一套令人驚嘆的遊戲策略回來了，這套策略闡述了如何讓遊戲在印度成為第一。
但這並非她所尋找的。我認為這充分體現了這類事情所面臨的挑戰。嗯，實際上我認為正是在那項工作的基礎上，我們私下組建了一個小型產品生態系統團隊。我不知道那個團隊是否還在，但是這是一個非常普遍的問題，我有很多例子可以說明，因為我們沒有一個資料團隊來統籌所有這些領域，所以我們做出了許多奇怪的決定。嗯，所以它就像是大公司裡非常必要的一部分。
生態系統與成長團隊的差異及影響力衡量
>>: 我同意必要性部分，嗯，今天我要向你們提出一個挑戰：如何透過激勵措施和正確的KPI或責任範圍來真正激勵員工？但是，這個描述讓我想起了另一個功能，生長。成長就像是把人推到谷底，而生態系統則被推到了谷底。我覺得它們實際上更相似。
就像我在很多情況下看到的那樣，我也看到過一些組織，它們的生態系統與成長相輔相成。它們就像是密不可分的。我認為成長中包含產品層面。就像那些專注於搜尋引擎優化和用戶獲取的團隊一樣。就像我們發展過程中存在實際的產品槓桿一樣，無論是電子郵件行銷活動還是實際的產品功能。但成長的另一個面向是專注於了解我們的銷售漏斗、了解我們的健康狀況、了解我們的預測和發展軌跡，我認為這更接近了解和追蹤產品健康狀況的核心生態系統角色。所以，我認為在 Facebook 內部，可能在其他應用程式中，這些職能部門或團隊之間的距離並沒有那麼遠，他們也不會互相不合作。
>>: 是的，我發現這取決於公司當時所在的地區。嗯，所以，當我加入 Instacart 時，呃，我也領導了一個生態系統團隊，因為我呃，我沒辦法完全擺脫它。嗯，我加入 Instacart 的時候，我們有一個生態系統團隊，非常注重獲利能力，因為那是我們當時面臨的最大挑戰。因此，團隊花了很多時間在購物者領域，與財務團隊一起了解損益表。
嗯，但是當我們真正解決了盈利問題，盈利不再是問題之後，我們就面臨著增長的問題，然後團隊進行了轉型，更加緊密地圍繞增長領域展開工作。現在團隊裡還有一些人，他們必須重新塑造自己，從獲利專家轉變為成長和行銷專家。嗯，它也會隨著業務需求而改變。
>>: 好的。但是，當我仔細想想，成長有很多值得關注的地方，例如我們的成長駭客和成長資料科學家，這些都是熱門職位。但是生態系統就沒那麼明顯了，我認為這是因為成長很容易衡量，對吧？你提高了訪問量，提高了留存率，而且你可以進行大量的AB測試來展示成長，你採取了主動措施，並且可以展示增量。生態系資料結構要難得多。那麼，您會如何評價一個生態系統決策系統是否有效呢？
>>: 這是個好問題。我曾提議對我們的高階主管團隊進行一次調查，這是一項滿意度調查，旨在了解他們對我們工作表現的滿意程度。但那離目標並不遙遠。
我們經常談到資料科學職能的真正意義在於影響力，我認為在某種程度上，這對生態系統來說是最重要的，因為我們最大的利害關係人是領導團隊，而應用程式讓他們感覺了解情況、理解情況的程度至關重要。因此，在衡量成功或追蹤我們 DS 的成功影響時，這取決於我們感覺自己回答問題的情況如何，以及我們的領導團隊、主要利益相關者、XFN有多滿意，以及我們在他們提出的問題之外的理解方面取得了多大的進步。
所以，這裡有兩個維度，像是我既管理過生態系內的 DS，也管理過生態系外的 DS。在生態系統方面，我更依賴同儕的回饋和領導階層的評價，例如他們認為我們團隊提供的資訊品質如何。我認為這是我們團隊成功的一個重要訊號，它反映了利害關係人的滿意度以及他們對生態系統的理解。
>>: 在你回答之前，我可以問一下，如果領導者錯了呢？如果你反而更認同一位持有錯誤觀點的領導者，那會怎麼樣？
>>: 哦，這種情況經常發生，我想 Jean 可以證明這一點，他在 Facebook 和 Instagram 的生態系統方面都經歷過這種情況。我認為我錯了，那些犯錯但仍然可以提供良好回饋的利害關係人也錯了。關鍵在於他們是否覺得我向他們清晰地闡述了觀點，或者我們是否很好地向他們解釋了為什麼我們認為他們的觀點是錯誤的，以及他們是否覺得我們有強有力的數據支持的論點。
所以，很多時候，關鍵不在於是否與客戶保持一致，或者是否滿足一些潛在客戶提出的問題，而手於我們確保他們了解生態系統中正在發生的事情、趨勢以及應用程式的健康狀況的程度。但是，這要求領導階層具備知識分子的誠實，即使你不同意他們的觀點，他們仍然能夠重視你的價值。
>>: 這是個合理的觀點，Jean 似乎也聽取了你對如何處理那些有時可能缺乏知識誠實的領導階層的意見。但以我的經驗來看，我認為我們的優勢在於，沒有任何一個人可以在任何事情上擁有發言權。沒有哪一位領導者能夠左右這一切。所以，我能夠從人們之間獲得相當不錯的平衡訊號。雖然有時有些人可能不滿意，但我們通常能夠從領導團隊那裡獲得訊號，至少我們正在推進的資訊和路線圖能夠幫助他們感到知情，即使它沒有驗證他們已有的假設或觀點。
組織激勵機制的對齊：自上而下與自下而上
>>: 好的。所以，我覺得你觸及了一個非常重要的點，這也是為什麼我最終同意你的觀點，但是，嗯，你的第一個想法，也許是你當時在我面前提出的，我拒絕了，你的第一個想法，比如進行一項關於具體情況的調查，我不太認同。
我想，呃，為什麼要說到你的觀點呢？我認為這裡有一個非常重要的潛在假設，那就是產品資料科學家和生態系統資料科學家之間的差異幾乎在於你的工作層級。你可能認為與高階主管或副總裁共事和與總監、高階總監共事之間沒有太大區別，但其中一個很大的區別在於他們的激勵機制，對吧？
因此，如果你是新聞推送排名的高級產品經理，你的目標不一定是讓 Facebook 變得更好，而是要就衡量產品性能的指標達成一致，讓每個人都同意，如果採用這個指標，就能讓 Facebook 變得更好，然後你就只需改進這個指標即可。如果你有資料科學家與你合作，他們會嘗試與你一起改進那件事。
所以，如果你……這種情況在 Facebook 也時有發生，比如你的數據科學家負責信息流排名，他會來找你說：“嘿，我設計了一個新東西，它會在上半年影響我們的指標。但我認為這對用戶來說非常棒。”那位領導可能會說：“不，謝謝。這裡有一些來自同儕的負面反饋去做。”事情並非如此安排。
但是，你在生態系統層面上合作的人，就像我們在 Facebook 時一樣，我們和很多人一起工作。我想菲古在那裡待的時間最長。嗯，我們和Facebook應用程式的負責人合作過。他們的動力應該是讓Facebook盡可能變得更好。所以，如果你帶著一個想法去找那個人，比如，「嘿，我個想法，雖然會讓費用排名稍微變差一點，但會讓應用變得更好，來，讓我向你證明一下。」我認為他們應該始終對這些內容感興趣。他們應該始終保持這種知識上的誠實，因為利益是一致的。
我認為在大多數情況下，雙方的利益是一致的。就我記憶中在Facebook的工作經驗而言，他們一直都是如此。我想說的是，我在 Instagram 上看到過一些時候，他們的做法並不總是協調一致，這時就會變得很具有挑戰性。嗯，它們可能由於各種原因而錯位，我不會在公開播客中詳細討論這些原因。
但我認為，讓這些激勵機制保持一致至關重要。這就是為什麼我有時看到生態系統團隊在較低的層面上組建，但效果卻不盡如人意，因為你與領導者的激勵機制之間缺乏足夠的聯繫，從而無法對自己的產品保持誠實的態度。嗯，但我認為這是一個非常非常重要的要求。
>>: 我記得在 Meta 上有個笑話，DS 產生影響最快的方法就是團滅一個隊伍。但是，你不能在球隊經理這個層面上毀掉一支球隊。你需要向上追溯兩到三個層次，才能找到合適的激勵措施來做這件事。生態系統決策者可能需要向相關領導人提出許多類似的建議。
我認為我們沒有幹掉任何隊伍。你可以提醒我我是否錯了，但是，嗯，也許、也許，那是一個錯失的機會。不是因為沒有嘗試。我相信我們當時可能確實想這麼做。[笑聲]
哦，是啊，原來你在做這個。好了，我想起來了。
>>: 是的，我其實有個比喻。如果我們的大腦像一家公司一樣運作，而不是像一個整體一樣運作，而你試圖減肥並設定了減肥的KPI，那麼你的手臂會做什麼反應？就像你的手臂可能會直接砍掉我們的手臂一樣，因為那是最好的減肥方法。
嗯，我確實認為類似的事情也會發生在公司裡。如果你只是追求機率或追求一個非常簡單的KPI，人們為了獲得成功和晉升，就會做出損害生態系統健康的事情，因為他們的動機是自己的利益。
所以，這就引出了我的下一個問題。你可以影響領導者，希望高階領導者的激勵機制能與我們的激勵機制一致。但是，如果你想執行這項建議，如果你想做一些事情，最終還是要取決於網域所有者或服務所有者，也就是具體的團隊。嗯，有時候，如果你真的想產生真正的影響，不僅僅是提交建議，領導採納我的建議，如果你想看到它被執行，你也必須像那些所有者一樣施加影響。那麼，有沒有什麼有效的方法可以做到這一點呢？
>>: 嗯，我可以先做這個。我找到了兩種方法。嗯，我會分享這些方法中一個重要的方面，因為我認為你可能會涉及職業發展的話題，而職業發展也很重要。
嗯，第一種方法有點像從上到下，你要找到和你一起工作的人，最好是最高決策層級的人，比如以 Facebook 為例，找到 Facebook 應用的負責人，說服他們必須做某事，而且這件事會影響團隊。然後，你和那個人，最好還有團隊負責人也在場，基於你們共同分析所確立的基本原則，大家一致認為這是該應用程式的最佳結果。然後，這個人會到房間裡，他的工作就是走到團隊成員面前，解釋這個決定，並讓他們執行。
嗯，我一直都是這麼做的。我發現這是最有效的方法。
嗯，我知道團隊裡很多人都會進行跨部門向上溝通，他們會與資料科學家（通常是資料科學家，但有時也會與產品經理或執行經理）密切合作，與這些產品經理緊密合作，真正了解產品，並在基層達成解決方案共識，然後他們一起將解決方案提交給 Facebook 的負責人、團隊負責人等等。
嗯，這兩種方法都可行。呃，你也可以同時做這兩件事。我覺得你只要找到適合自己的方法就好了。
我發現第一種方法最大的挑戰在於，這會涉及職業發展的議題。如果你提出一個方案，這個方案奏效了，而且團隊也執行了該方案，那麼團隊中的每個人都會在績效考核中邀功，對吧？就像群組團隊的工作人員一樣，他們會說：「嘿，我們完成了第二個大型群組計劃。它非常棒，帶來了 500 萬個群組連接。請提拔我。」然後我會去說：「嘿，嗯，小組討論計劃二號是我的主意。也提拔我吧。」這確實很有挑戰性，對吧？
於是，我用了一種相當滑稽的方式來做這件事。我總是喜歡提前預判自己的行動。嗯，如果我以前的經理聽到這段話，我想他會覺得很有趣。嗯，我通常會提前兩週告訴他。我會說：「嘿，我覺得這個功能應該加入到產品裡。我會努力實現它。所以，敬請期待。三週後，我想要的事情就會發生。」3週後，該組織的一位主管突然發布了一條訊息，內容正是我想要的。這是怎麼發生的？誰知道呢？但我早就預料到了。我通常有一半的時間能拿到學分。
我覺得這種方法效果還不錯，但是，很多時候，你是在遇到一些情況之後才學會這些技巧的，比如你明明是自己想出來的點子，卻得不到認可。
>>: 是的，我想在 Jean 的回答的第一部分補充一點，根據我的經驗，我喜歡將自上而下和自下而上的方法結合起來。
我認為自上而下最需要避免的情況是，如果我直接找到 Facebook 應用的負責人，建議說：“嘿，我們需要群組來做某事”，我大概已經猜到各個群組可能會如何反對。而且，我越是自下而上地與同級別的人，或者與同級別的決策層溝通，我就越會預先了解我的提案，並弄清楚他們會有什麼反對意見。他們還能對什麼說不呢？他們會有什麼顧慮？我該如何事先解決這些問題，以免我們和 Facebook 應用程式負責人見面時，他聽到的只是我們的爭論。就像我們一直在來回拉鋸一樣。
我只想向他列出利弊，然後告訴他，你已經知道他們會說什麼了，現在你可以做出你需要做的決定了。以我的經驗來看，我認為這種情況尤其在跨組織工作時更容易發生。所以，如果你同時經營 Facebook 和 IG，由於組織機構不同，其激勵機制和目標也不同，你有時可能會遇到一些阻力。事先了解可能會遇到的阻力，並透過與當地人士交談來弄清楚這些阻力，可以加強提案，並確保萬無一失。
例如，我是否遺漏了什麼我比較喜歡但聯絡人裡沒有的東西？這種情況在生態系中經常發生。你無法像產品本身那樣深入了解所有這些組織的背景資訊。所以，去和這些人聊聊，弄清楚我是否遺漏了什麼，是很有價值的事。難道我不知道某些情況，而和你談話可以幫助解決這些問題嗎？
PSC考核與無形影響力的價值認可
>>: 好的。這些建議都很棒。我覺得，尤其是在大公司裡，其實在新創公司裡也存在著這種「幕後溝通」現象。就像如果你想成功召開一次會議，你必須進行幕後溝通一樣。嗯，大多數決定都是在小房間裡做出的，而不是在大房間裡。就像在大型會議室裡，人們只是宣布消息，而不是做出實際決定。
>>: 是的，「秘密管道」這個詞帶有一些負面意義。我會稱之為 Mush，而不是更多地討論預先調整，我認為這在某些方面是健康的。
>>: 是的，預先對齊。就像發號施令一樣，但吉姆，你會怎麼寫 I R P S C 呢？就好像我發號施令，事情就發生了。
>>: 如果你有讀過我的PSC作品，你就會知道我絕對是一位非常有趣的PSC作家。我認為你只需要誠實地面對你做過的事情、提出的事情以及它們的結果。
身為管理者，每當我與他人合作時，我都會問這個問題；即使是產品團隊的成員，我也會問這個問題。就好像，如果這個人不存在，呃，如果他們在過去的6個月裡沒有出現，那會發生什麼事？我認為，在生態系統團隊中，你經常會發現，如果沒有這個人，整個策略轉型就不會發生。
顯然，這項轉型的成功是建立在另一個部門數十甚至數百人的工作之上的。當然，他們在執行和構思方面應該獲得很多讚譽，但是，像最初的靈感火花這樣的因素，我認為，你知道，你也應該為此獲得讚譽，特別是如果這是一個好主意的話。執行效果與你最初提出的想法完全一致。我認為你也應該為此獲得一些讚譽。
嗯，這和產品團隊中資深的個人貢獻者（IC）有一個非常棒的產品創意，其實很相似。嗯，你只是在一個更高的層次上運作而已。
>>: 因為你特別問到了 PSE，我還要補充一點，也許這只是在肯定 Gene，我認為你也需要在你的組織內創造一種重視這類工作的文化。我認為，在整個管理鏈中，必須得到 DS 高階領導的認可，並認識到這類工作的重要性。
因為我曾經待過一些房間，裡面的人身邊沒有任何生態系統資料系統，他們真的很想知道，我們真的要把整個策略的功勞都歸於這個人嗎？我當時就想，我們並不是說執行和一切都很完美，也不是說一切都是因為他們的分析才推出的。但很明顯，如果我們事先沒有進行這項分析，他們就不會在那裡投入人力。
我認為多年來，Gene 和所有前系統開發人員都做得很出色，他們在 Facebook 應用程式中創造了一種重視這類工作的文化。如今，當我們進行生態系統績效評估時，很少有人會問，是否有明確的方法來建立我們所做的分析與結果之間的連結？我們只需要證明結果，但原因和結果之間沒有疑問。
表現至關重要，因為你必須確定你的工作是否真的存在，尤其是對於這種定性工作。你不能把所有事情都算在你做了什麼、你創造了什麼、你發布了多少行程式碼、取得了多少成果這些事情上。從根本上講，人們必須相信這一點。我認為這對有經驗的人來說非常有趣，但對新手來說，嗯，這聽起來可能太抽象了。
案例分析：2019年Facebook年輕用戶群體戰略轉向
>>: 我想從你這裡得到幾美元。我不知道你能分享多少，但是，如果你能把你剛才說的話轉化成一個具體的故事，你能分享一兩個故事嗎？
>>: 是的，我已經不在 Meta 工作了，所以我可以毫無顧慮地分享任何我想分享的內容。努力思考什麼樣的故事才算是代表性的故事。我想，你知道，我之前跟那個人講過關於印度的事。我認為那是一個很好的例子。
>>: 那麼，請容許我問你一個非常具體的問題。例如，當你的建議與總監的 KPI 或副總裁的 KPI 相悖時，請告訴我一個故事。我想提高我產品的這個指標，但生態系統團隊告訴我這不是個好主意，或者我應該做點別的，或者，你知道，我應該改變我的關鍵績效指標。你與另一位產品負責人（領導階層）意見不合。
>>: 我發現你所描述的情況在生態系團隊中並不常見。這種情況在誠信團隊中並不常見，因為誠信團隊的成果在某些方面與產品團隊的成果相違背。對我們來說，我們的高層目標更像是與其他產品團隊的目標一致。這更符合我們認為應該發展的方向。
所以，我覺得我們當時做了一件非常重要的事情，大概是在 2019 年左右，當時 Facebook 應用整體表現非常好，但我們發現，它在某個年齡段的人群中表現不太好，我忘了確切的年齡段了，大概是 17 到 29 歲，或者類似這個年齡段的人群，既不是 Z 世代，也不是千禧一代，而是那種中年人群。
>>: 青年人。
>>: 是啊，是啊，是啊，年輕人。我們發現他們並沒有正確地使用 Facebook。並不是說他們使用得不好，而是他們使用 Facebook 的方式與我們所說的成功、健康的使用方式完全不同。嗯，我們是透過分析發現這一點的。就像我們進行聚類分析一樣，我們觀察了趨勢，觀察了實驗結果，發現有些實驗結果是由某個細分市場驅動的，而這個細分市場並不是主要細分市場。在我們許多規模最大的實驗中，這一部分其實都很平穩。
嗯，所以有很多因素綜合起來，我們把這些因素整合到分析中，基本上得出的結論是：“嘿，Facebook 的確發展得很好，但真正推動這一切的是這邊的這些人。這邊的這群人，他們是年輕一代，他們沒有加入。他們在這裡完全找不到任何意義。”
我不認為有人會說：“哦，不，這真是個糟糕的主意。這跟這個正好相反。所以，我的產品只針對 50 歲的人。”但更重要的是，他們必須將策略轉向一個更難實現、也一直未能實現的方向，因為如果他們能夠做到這一點，我們就不會進行這場對話了。
嗯，所以對他們來說，這更難做到，而且他們也不知道自己能達到同樣的水平，對吧？所以，如果你告訴新聞推送負責人：「嘿，你必須將每日活躍用戶數提高 4%，但你只需要為這個特定群體提高 4%。」他們會說：「嗯，去年我只做了 4%。我為這個小組做的總成績是零。就像我不知道該怎麼做。」
>>: 我懂了。所以，並非反對，而是你們正在轉變優先事項和關注。
>>: 確切地。
>>: 我記得當時我們非常重視年輕人，因為我當時正在開發 Marketplace，直到今天我仍然聽到人們越來越關注 Marketplace，因為 Marketplace 能夠吸引年輕人使用 Facebook。
>>: 不客氣。
>>: 是的，我同意 James 的觀點，像這樣直接與領先者正面交鋒的例子並不多，例如他們試圖提高某個指標，而你卻說「不，這個指標行不通」。
我認為很多時候是優先順序的問題。我認為，從這個角度來看，我們已經就不同國家的區域發展和優先事項進行了許多討論。所以，團體研究的重點被一再提及。我們繼續專注於美國和加拿大，原因有很多，例如收入龐大，文化相關性也很高，許多技術和趨勢的早期採用都發生在美國和加拿大。
所以，我認為我們經常遇到的一件事，至少在生態系統方面，也許這也是另一個將會出現的問題，就是我們有一些常年存在的問題，我們每隔幾年就會重新審視這些問題。我們一直存在這樣一個問題：我們是否應該優先考慮某些地區而不是其他地區？
每隔幾年，我們都會回答類似的問題。我們關注同樣的趨勢，我們關注同樣的優先事項，例如，嘿，我們在世界某些地區做得非常好，增長非常迅速，但在某些群體中，我們則比較弱，因為那裡的競爭更加激烈。我們是否仍然對目前的投資方向感到滿意，還是應該優先考慮一些即將帶來的不利因素？我認為我遇到的常見問題是，我們呈現相同的數據，但我們不會改變我們的決定。
對我來說，最大的問題始終在於，我該如何接受這樣一個事實：一年後我們還會被問到同樣的問題，我認為數據不會發生顯著變化。
但是，我發現有時候改變的不是數據，而是領導環境的改變。就像風險承受能力不同，外部壓力不同，主管層的壓力也不同，這些都會促使我們改變決策。有時候，即使我提取相同的數據或更新分析，也沒關係，因為外部因素可能會發生變化，從而導致不同的決策，而不是一味地重複同樣的做法。所以，我遇到的更大的問題是，我必須連續三年回答同樣的問題，以至於我一度懷疑自己是不是瘋了。到了第三年，我們決定做點什麼。
成功生態系統DS的素質特徵與心態
>>: 這自然而然地引出了我的下一組問題。什麼構成一個好的生態系資料科學，以及如何量化這項工作？僅根據我們之前的討論，我已經可以想到，成功的生態系統資料科學家需要具備許多特質，例如積極主動、勇於擔當。退後一步意味著存在許多不確定性，而且有很多方向可以選擇。你必須主動進行這種宏觀或整體性的分析。
我認為，能夠應對複雜性是關鍵之一，因為你要接觸到許多不同的產品領域。你不需要像了解每個產品的特定資料結構那樣了解它們，但你需要有基本的了解或足夠深入的了解。
你需要具備在沒有權威的情況下施加影響力的能力。你需要找到正確運用槓桿的方法。你需要想辦法弄清楚如何前進，如何建立關係，以及如何在不傷害關係的情況下做任何事情。
還有什麼我沒考慮到的嗎？
>>: 我覺得你已經解釋得很清楚了。我認為自主、獨立、足智多謀都很重要。我們經常需要跳到視訊資料中去。我們不了解視訊數據。所以，在某些情況下，你必須能夠迅速提升自己的能力。
我和我的經理以前常常拿這件事開玩笑。這就像你們是僱傭兵，空降到一個地區，迅速行動起來，弄清楚你需要知道什麼才能產生影響。
>>: 除了你提到的自主性、溝通能力和複雜性之外，我認為我還要補充一點，那就是你必須要有好奇心。
我認為生態系統資料科學家必須具備強大的直覺，並且在面對想法時能夠質疑事物和敘事，因為產品資料科學家有許多交叉驗證可以依賴。有很多產品經理和終端用戶會給你提出問題和問你問題，作為生態系統的資料科學家，你必須自己來做這些。
所以，根據我的經驗，最成功的生態系統資料科學家也是那些更具創造力的人，他們會不斷提問，或對使用者體驗、產品策略、發展方向等問題保持相當的好奇心，因為這有助於他們更深入地進行分析，並真正推動自己的路線圖。
關於生態系統，我認為這是比較難處理的事情之一，在產品路線圖上，我通常會有無數個問題，我該如何確定需要做的事情的優先順序？在生態系方面，制定自己的發展路線圖時，最重要的是什麼？我認為人們有時會低估這項工作的複雜性。
還有一個後續問題，例如，為什麼你選擇「愛刨根問底」而不是「好奇」這個詞？
>>: 啊，我覺得沒有很充分的理由，詞彙量。我認為這是兩個選擇。對我來說，好奇心更多的是指喜歡提問。我認為他就是那種看到數據或分析報告時會開玩笑的人。
我認為生態系統資料科學家對任何事都有最大的懷疑態度。他們通常是隊上最樂觀的人。他們花費大量時間關注應用程式的健康狀況和趨勢，因此他們可能是組織中最懷疑的人。我認為這源自於對很多事情的質疑。質疑我們的假設，質疑我們的正面趨勢，也質疑我們的負面趨勢。我們真的像自己認為的那麼優秀嗎？我們真的像自己認為的那麼糟嗎？
>>: 是的，我認為提問和質疑是這兩個詞之間的區別。
>>: 是的，我覺得你對很多地方的描述都很到位。嗯，求知欲可能是最重要的特質。
嗯，我認為所有權因素也非重要。我不會說這很容易，因為當你負責一個非常小的產品領域時，要產生強烈的歸屬感仍然不容易，因為你對它擁有很大的控制權。它持續展現出對一大片你可能沒有太多實際控制權的表面積的所有權意識，這相當具有挑戰性，但我喜歡鼓勵人們真正投入其中。我也支持一些政策團隊。
基本上，你的活動範圍就是你的房子，對吧？就像如果你看到房子角落的灰塵，你會把它撿起來一樣。嗯，如果你看到家裡漏水，你不會去清理漏水的地方。你會想，「為什麼會漏水？」嗯，如果你是資料科學家，你的產品是整個 Instagram 或整個 Facebook，那麼情況就會變得很困難，因為你擁有的是一棟非常大的房子。
但你的職責是每天巡視檢查這棟房子，看看有沒有漏水、有沒有污垢、有沒有小動物，或是其他任何大房子裡會遇到的情況。我不知道。前任——[笑聲]
>>: 沒錯，是的。當我還是團隊裡的初級資料科學家時，我總是忍不住想不停地查看每一個儀表板。只要有任何差錯或可疑情況，我都會仔細調查。我會在群組裡發文問：「好吧，有人知道這件事、那件事或那件事發生了什麼事嗎？」我以前這麼做可能會讓別人有點惱火。
嗯，但我確實認為我見過的最成功的人都做過這件事，而且在那種高度佔有欲方面有點令人討厭。
>>: 是的，出於好奇，而且你可能也因為正在建立自己的心理模型而感到好奇，對吧？你試圖弄清楚什麼是異常的，什麼是正常的。透過這個模型，你可以真正了解這些產品以及它們如何協同工作。
>>: 是的，絕對的。
人才畫像、光譜分佈與團隊構建
>>: 好的。這確實有很多特質，而且很可能都是比較罕見的特質。那麼，究竟是什麼因素造就了更成功的生態系 DS 呢？讓我們從這個角度來看優化一下。比如，你如何評價工作品質？DS，你會提倡哪一種生態系統，或是你會清除哪一種生態系？
>>: 我認為需要澄清的一點是，我不認為生態系統 DS 有一個單一的標準版本。嗯，我想讓·皮埃爾可能見過很多次這種情況，並且像我一樣努力招募各種專業知識，因為我確實認為生態系統中需要不同類型的人。其中一些技術性更強。
我認為不同的公司有不同的原型。在 Facebook，我們過去稱他們為技術專家。因為我認為這就像一系列問題，尤其是在生態系統方面，例如分析和工具的標準化，這確實需要更專業的技術人員來處理。
但你真的需要一支由 10 位技術專家組成的團隊嗎？可能不會。但我認為，有些問題需要特定的技能來解決，而這些問題與其他所有問題所需的技能都不一樣。例如，我們的一些問題確實需要溝通能力強的人來解決，因為他們的所有工作實際上都與高層溝通有關。然後，當你坐在觀眾面前時，你需要非常高的技巧和表現力，能夠回答問題，來回交流，清晰地表達出這與其他地方的產品不同。
所以，我認為即使在生態系統內部，是的，嗯，那也是一種原型。你需要掌握的技能種類繁多，我不認為存在某種特定的原型。
>>: 是的，我覺得沒錯。有些技能是通用的，但反過來想，有些人雖然在生態系統團隊工作過，但不適合這份工作。
嗯，我想可能有個例子，兩年前我們團隊裡有人轉到了產品團隊。我記得有一個季度，那個人在分析上和我們合作得非常密切。我認為他們做得很好。嗯，你知道，這可能是我們製作過的最棒的五副牌之一。你知道嗎，它實際上改變了我們對 Zocdoc 成長的看法。
最後，這個人跟我說：「嘿，我要調到另一個團隊了。我真的很喜歡和你一起工作。我很喜歡這個結果，但這不是我想做的工作。這不是我想要鍛煉的那種能力。」
嗯，他們轉到了一個團隊，在那裡他們可以和工程師一起坐在一個房間裡，共同探討模型改進方案。而這正是他們想要做的，而且他們現在在這方面做得非常好。嗯，但這完全是另一部作品。就像我以前每次嘗試做那種事或不得不扮演那種角色時一樣，它真的不符合我想做的事情。好像我無法全職從事那種類型的工作似的。
嗯，所以在某種程度上，它與其說是原型，不如說是人們傾向於的事物範圍。我認為我們之前討論過的那些特質，以及對這類工作的意願和熱情，都是需要努力挖掘的重要特質。例如，如果你想想身為生態系資料科學家，你能達到的一些最佳成果，你會不會對取得這些成果感到興奮？嗯，如果不是的話，那可能就是不太適合那種類型的職位。
>>: 是的。公司裡有一些資料科學家，我嘗試招募他們加入生態系統團隊，我認為他們非常適合這份工作。他們具備所有優勢，但他們只是真的非常熱愛產品。他們就是喜歡寄東西。這是個缺點。你不能那樣做。真正有價值的技能，以及對我們所做工作的興趣。
>>: 我對這個問題非常感興趣，所以我想問一個比較棘手的問題。你們都在談論頻譜。如果把字詞放在光譜的兩端，你會選哪一個？這是否代表從生態系統到產品的整個光譜，或者你認為是什麼？
>>: 不，這代表我們興趣的光譜。例如，你傾向於執行，例如，最大的問題，例如新的挑戰。我不知道這些字的宇宙是什麼，也不知道該把什麼放進光譜裡，但正是興趣的光譜定義了不同的DS。
>>: 這些話。我腦海中浮現的字大概是「有形的」和「無形的」。嗯，所以當你審視產品資料科學家時，我認為他們更貼近實際。如果更進一步，就會出現一些工程師實際編寫程式碼來建立這些東西的情況。作為一名產品數據科學家，你正在研究群組搜索，你會說：「嘿，我負責群組搜索。看看這個群組搜索。瞧瞧。砰砰砰。這是我做的。」
然後還有生態系統數據科學家，他們的工作就更加抽象化，對吧？以至於我很難向父母解釋我究竟是做什麼的。正確的？
所以，如果再往上走，就不是工程師了，我覺得再往上走的層次，也許這麼說有點冒犯，管理顧問就差不多是下一個層次了。嗯，所以我認為這就像一個更廣泛的範疇，我認為生態系 DS 可以讓你更深入地了解這個範疇中較無形的部分。
>>: 是啊，這算是不幸中的萬幸了。
>>: 是的，我認為問題在於範圍界定的模糊性。因為在中間某個地方，可能也存在一些從事零到一空間工作的人。就像是有明確產品一樣，但它比非常成熟的產品領域要無形得多，在成熟產品領域，你可以有非常清晰的指標和數據。還有一些人正在籌劃新的賭注或大賭注。
我認為還有很多更小的事情也屬於這個範疇，我經常跟我的團隊說，例如你可以成為產品資料科學家，然後做一個生態系統專案。例如，你可能正在專注於一個項目，但這時你需要退後幾步，從整體上審視整個生態系統。但你不必成為一個完整的生態系 DS。這並不意味著你必須一直把那當作全職工作。這就像是根據具體專案而定的，而且也會根據專案的成熟度和當時的策略需求而有所不同。
>>: 是的，我覺得他們很多資深的資料科學家，像是 L8、L5、L7 級別的，除非你是技術非常精湛的專家，而且技術是你的唯一專長，否則你不可能不做某種生態系統方面的工作。
>>: 是的，這讓我感覺生態系統資料科學家實際上是一個職業生涯後期的高階職位。以生態系統決策者的身分起步很困難，因為很難證明其影響力或影響到適當的領導階層。正如你所說，對吧？如果你的前生態系統團隊來自低海拔地區，那麼這個團隊很難生存下去。
我認為你說的對，生態系統團隊中資深個人貢獻者的比例可能更高，而且生態系統團隊的人員密度也比產品團隊更高。因為我覺得在某種程度上，產品團隊每天都要處理大量的營運工作，以維持產品的正常運作。與生態系統團隊相比，你需要支援更多的初級資料科學家。
我認為這肯定是其中一個因素。但就生態系統而言，我通常更喜歡在公司工作多年的員工，例如內部調動人員，而不是新員工。我認為最大的問題在於，尤其對於像 Facebook 這樣的公司來說，因為應用程式涉及的背景和複雜性非常高，所以要掌握所有這些內容，就像加入 Facebook 的產品團隊一樣困難，因為你會覺得，我必須馬上了解 Marketplace 的一切。
但是，如果我現在告訴你，在你產生影響之前，你需要了解所有事情的一切，這會讓人感到不知所措。所以我覺得學習曲線要陡峭得多，但正因為如此，我可能更希望它的預期能降低很多。例如，在生態系統團隊中，我會給他們比產品團隊更長的適應期，直到我覺得他們能夠充分理解並產生影響。
>>: 嗯，所以 Mo 的這個例子很好地概括了我接下來要說的內容，那就是我認為生態系統團隊中最重要的角色實際上是生態系統管理者。
我認為生態系領導者基本上身兼兩職，對吧？他們都是數據科學經理，但我認為他們也是數據科學家團隊的產品經理。所以很多時候，你可能有一個由 L3、L4 級人員組成的團隊，但他們當然不可能自己去找到工作。但我認為，經理的職責是為他們尋找和獲取項目，這些項目要麼是他們自己的想法，要麼是他們從與其他團隊的討論中聽到的，你知道，就像我們討論的那樣，自下而上地討論，或者來自領導層的會議。他們有效地尋找並制定了這些路線圖。
而且，我們隊上也只有一位經理。嗯，對團隊經理的招募設定極高的標準非常重要。Mo 非常樂意從外部招募人員，即使是初級職位也不例外。嗯，我認為隨著時間的推移，他們最終都成為了團隊中最強大的成員之一。嗯，但對於招募經理來說，我的標準簡直高得驚人。就像我拒絕了很多非常有才華的人，只是他們沒能達到前1%的水準。
>>: 這是真的。建立和維護購買系統非常困難，但卻非常必要。
>>: 經理某種程度上就是這種角色的代表，對吧？如果經理得不到領導階層的信任，那麼整個團隊的情況都會更糟。
生態系統團隊架構、分析工具與預測哲學
>>: 我剛剛想到這個問題，但令我驚訝的是，我竟然沒有為此做準備。是否有生態系專案經理、生態系工程師或生態系設計師？
>>: 不。嗯，我常這樣描述：我們最接近生態系專案經理的角色就是領導團隊。就像你們在那裡一樣，就像大多數產品DS一樣，我們最終提供支援功能。你是產品經理和工程團隊的支援人員。生態系統團隊在某種程度上是領導團隊的DS支援職能部門。領導層提出的問題以及他們提出的任何數據問題最終都會提交給生態系統團隊，而我們也最終會處理這些問題。
但實際上並沒有類似這樣的模式，也許有些公司有這樣的模式，但至少在我們公司的生態系統團隊中，我們沒有像產品團隊這樣的組織。我們有使用者體驗架構師，或者說我們有使用者體驗設計師，因為我認為我們需要處理一些問題，例如使用者研究，因為有時我們在資料覆蓋率很低的領域工作，我們需要大量的外部和內部研究覆蓋，但不需要太多其他功能。
>>: 是的，除了極少數情況，我想我們在 Facebook 也曾經遇到過這種情況一段時間。我認為你幾乎不可能再組另一支隊伍了。
我認為生態系統團隊必須是一個數據團隊。我指的不僅僅是數據科學、數據工程、用戶體驗研究、洞察，或者你想怎麼稱呼這群人都行，因為這個團隊的中立性和專注於基本面而不是激勵、議程或其他任何東西的能力都非常非常重要。比如，那個團隊必須保持公正。我認為，只有透過數據才能真正做到客觀公正。
我認為，身為產品負責人，如果你運用設計直覺、個人觀點等等，那麼你或多或少都會帶有偏見。我認為在生態系統工作中，通常有很多空間可以發表意見，但是，在展示數據時，你知道，我在這方面吃過幾次虧，特別是在 Instacart，我認為重要的是讓你的意見讓位於數據。我認為，對於非洞察函數來說，這很難做到。
>>: 有道理。那麼，說到數據，你們最有效的工具是什麼呢？例如，身為產品資料科學家，我覺得我最有效的工具是長條圖和A/B測試。嗯，我在《經濟學人》工作的時候，主要用 Python，機器學習，因果推論模型。那麼，對於生態系資料結構（DS）呢？
>>: 其他團隊的A/B測試是最有效的工具之一。是的，我是開玩笑的，但說真的，我認為對實驗進行分析，特別是創建正確的生態系統指標，非常重要。在 Facebook，我們花費大量時間創建合適的指標來衡量 Facebook 應用程式的健康狀況，我們似乎對此非常著迷。
嗯，在 Instacart 就容易多了，我覺得我們直接用交易額或利潤來計算。所以，你知道，你下單，你下單。在 Facebook，要讓別人向你展示他們認為你的應用程式有多大價值，其實很難用客觀中立的方式去衡量。嗯，所以我們在這上面花了很多時間，但是當團隊進行實驗時，你就可以進入這些實驗，看看他們在你認為重要的指標上取得了什麼成就。
我的意思是，除此之外，我不認為游標、DBT、雲DBT以及其他很多東西之間存在著巨大的差異。
>>: 是的，我覺得吉恩說得對。我覺得視覺化之類的東西並沒有那麼複雜，而我們的工具正是我們比較擅長的領域。我認為簡單的折線圖就能很好地說明問題，但真正重要的是 Y 軸是什麼，你正在查看的指標是什麼。我認為我們應該非常具體地說明我們要衡量的是什麼，並且非常清楚地說明它實際上可以和不能說明哪些關於產品和使用者體驗的資訊。
對我來說，最簡單的視覺化形式往往是最成功的。我個人也比較偏愛瀑布圖。我常常需要解釋為什麼有些事情會下降，有些事情會上升。所以，我越能把它分解成瀑布圖，它看起來就越漂亮。喜歡美麗的瀑布。[笑聲]
>>: 我對瀑布真是又愛又恨。但是，是的，我意識到這在討論中非常重要。在 Instacart，我們本來應該描述的是一個回溯式的瀑布，用來解釋某些事情。在 Instacart，我們經常會製作一些前瞻性的瀑布圖來預測未來會發生什麼，我們稱這些為橋樑，但它們幾乎總是錯的，我對它們又愛又恨。
所以，我對瀑布圖這個媒材既愛又恨，但我已經開始擔心我們有時會用折線圖來預測未來的準確性，以及它們開始對未來的預測。如果有人要我把預測折線圖分解成瀑布圖，我對所有單一驅動因素的預測都非常有信心，那我我就會放棄。我會辭職。
>>: 涼爽的。嗯，我們肯定需要就這個主題做第二期播客節目。
>>: 預測。這需要另起一集，整整兩集。所有那些被要求去做的事情，從根本上來說都沒有意義。我認為預測是其中之一。
>>: 平心而論，我認為他們的說法有道理，我不想離題。我覺得他們說的有道理。我認為尤其是在生態系統方面，你會做很多這樣的事。最重要的是要明白，在你想要進行的對話中，你需要達到怎樣的精確度。而且在很多情況下，你並不需要非常嚴格的誤差範圍和非常嚴格的置信區間來進行預測。這是你們的領導層試圖了解我們正在討論的問題的規模和大緻範圍。這究竟是一個多大的機會？這是 1% 的提升空間，還是說這會改變我們對趨勢的思考角度？
我認為，當你了解了這種背景並有所認識之後（作為生態系統資料科學家，你必須培養這種直覺），你就知道應該在預測上投入多少精力。因為我覺得很多問題其實都符合 80/20 的規律，我們只想知道我們所面臨的規模有多大。
>>: 是啊，是啊，是啊。我的意思是，我覺得尺寸是合理的。我認為重要的是要量化人們先前的假設，並了解它們之間的關係。所以，實際上可以透過 Excel 中的模型輸入不同的假設，得到輸出結果。我覺得這確實很有道理。但是，當我們試圖用科學的方法，並嘗試使用機器學習模型進行預測時，在我看來，這種做法並不能提供有用的信息，而且當你犯錯時，你的信心越強，受到的打擊就越大。