新的和改進的內容審核工具

案例研究:適度魔法 – 轉變內容審核工具

了解深思熟慮的設計方法如何重振我們的內容審核流程,使其更有效率、準確,並且(我們敢說)甚至讓我們的專業團隊感到愉快!

專案背景

在充滿活力的線上社群世界中,內容審核是沉默的英雄,確保我們的平台保持安全、尊重和吸引每個人。我們的人類版主團隊不知疲倦地工作,審查用戶生成的內容以維護社群準則。認識到他們工作的巨大價值,我們開始了一項使命,透過徹底改革他們的主要工具包來進一步增強他們的能力。我們的目標不僅僅是升級;創建一個真正支援他們複雜而關鍵任務的系統是一次轉變。

最初的問題

在我們的重新設計之旅之前,我們的內容審核工具被親切地(或可能不那麼親切地)稱為“老守衛”,提出了幾個重大挑戰:

  • 認知超載: 此介面是一片密集的文字欄位和無組織的資料。主持人經常必須篩選不相關的訊息,導致精神疲勞和決策速度變慢。想像大海撈針,但大海撈針卻不斷成長!
  • 笨重的工作流程: 需要多個步驟的任務通常涉及大量點擊和頁面重新載入。一個簡單的動作可能感覺就像穿越障礙路線,從而顯著影響吞吐量。這個過程讓人感覺支離破碎,而不是流暢的。
  • 缺乏背景: 基本的使用者歷史記錄、策略詳細資訊或相關內容見解分散在不同的系統或深埋在現有工具中,因此如果不進行大量手動操作,就很難獲得整體視圖。
  • 政策不一致 雖然不純粹是工具問題,但舊系統並不能直觀地引導主持人了解政策的細微差別,有時會導致執行不一致,並對持續的實踐培訓提出更高的要求。
  • 主持人倦怠: 這些問題的累積影響是版主士氣明顯下降,審核內容所需的時間增加,影響了我們的整體營運效率。我們看到了更高的營業額,並感受到了我們敬業的團隊所承受的壓力。

「感覺就像我一直在與工具作鬥爭,而不是與糟糕的內容作鬥爭。每個決定都是一個小任務。」 – 匿名版主回饋(重新設計前)

設計流程

我們的旅程始於深入了解「什麼」背後的「為什麼」。我們採用了以用戶為中心的設計方法,讓我們的主持人參與其中的每一步。

使用者研究

我們首先坐在主持人旁邊。我們進行了廣泛的背景調查,觀察他們的日常生活、痛點以及與「老守衛」一起的巧妙的解決方法。我們透過調查和深入訪談來補充這一點,詢問他們面臨的挑戰、他們理想的工作流程以及他們最需要的資訊。數據分析也發揮了至關重要的作用,突顯了常見的審核路徑、頻繁的錯誤和高認知負荷的領域。

  • 觀察: 注意到上下文中過多的選項卡切換和複製貼上。
  • 採訪: 確定了資訊密度和多步驟行動的主要挫折。
  • 數據分析: 發現某些內容類型的處理時間過長。

構思

憑藉著寶貴的見解,我們的設計團隊開始構思。我們在白板上繪製了線框圖,優先考慮清晰度和效率。根據我們主持人的即時回饋,低保真原型被快速建構和迭代。這個迭代過程使我們能夠快速測試假設、驗證解決方案並及早發現潛在的陷阱。我們不斷評估關鍵的權衡:例如,平衡對全面資訊的渴望與對乾淨、可掃描介面的需求。我們選擇「漸進式揭露」—預先顯示重要資訊並允許使用者深入了解更多細節。

New and Improved Content Moderation Tooling supporting visual 1
案例研究視覺 1

主要設計原則

在整個設計過程中,三個核心原則引導著每個決定:

  1. 明晰 突出且直觀地呈現關鍵訊息。
  2. 效率 簡化工作流程以減少點擊次數和認知負荷。
  3. 共情 建立一個尊重主持人專業知識並減少精神壓力的工具。

解決方案詳情

我們共同努力的成果是“Horizo​​​​n”,這是一個全新的內容審核套件,旨在為我們的審核團隊提供支援。

簡化的工作流程

我們完全重新設計了內容審核畫面。 Horizo​​n 沒有提供基於表單的線性方法,而是提供了一個整合的儀表板。所有相關內容、使用者詳細資料和歷史背景都一目了然,排列在邏輯、顏色編碼的面板中。現在可以直接在主視圖中執行關鍵操作,從而減少了重新載入頁面或離開目前任務的需要。例如,「批准」、「拒絕」或「升級」等常見操作現在都是突出的一鍵按鈕。

「就像這個工具終於會說我的語言一樣。我需要的一切都在那裡,不需要挖掘。」- 主持人反饋(重新設計後)

New and Improved Content Moderation Tooling supporting visual 2
個案研究視覺 2

增強的資訊架構

我們實現了視覺直覺的資訊層次結構。嚴重的保單違規行為會透過不同的圖示和簡短的解釋進行突出顯示,使新版主更容易學習,也讓經驗豐富的版主能夠快速驗證。使用者歷史記錄以圖形方式進行總結,顯示行為模式而不僅僅是原始資料。 「相關內容」小工具主動建議過去類似的審核決策,提供即時的一致性檢查。

自動化

Horizo​​n 結合了智慧自動化來處理低風險、大容量的內容,使人工主持人能夠專注於微妙或複雜的案例。我們的人工智慧模型現在可以預先標記潛在的違規行為,甚至建議適當的政策應用,減少手動輸入,同時讓人類了解最終批准的情況。這種混合方法顯著提高了效率,同時又不影響準確性或道德考量。

  • 智能排隊: 人工智慧會優先考慮需要立即人工審核的項目。
  • 建議採取的行動: 該工具根據歷史數據建議調整結果。
  • 即時政策指南: 上下文策略片段顯示在相關內容元素旁邊。

結果

Horizo​​n 的引入為我們的審核操作帶來了切實、積極的變化:

  • 平均審核時間減少 55%: 由於簡化的工作流程和減少的認知負荷,以前需要幾分鐘的任務現在只需幾秒鐘即可完成。
  • 錯誤率降低 30%: 憑藉更清晰的背景、直觀的政策指導和更少的疲勞,我們的主持人可以做出更準確的決策。
  • 版主滿意度分數提升 20 分: 我們的內部調查顯示,工作滿意度顯著提高,報告的壓力水平下降。主持人感到更受支持和更有效。
  • 入職時間減少 40%: Horizo​​n 的直覺性意味著新的主持人可以更快地掌握速度,在更短的時間內成為團隊中高效的成員。
  • 一致性提高 15%: 綜合的政策參考和建議的行動使我們的社區準則在整個團隊中得到更統一的應用。

這些可衡量的結果清楚地表明,投資於內部工具的深思熟慮的設計可以直接轉化為我們關鍵的審核團隊的卓越營運和更健康的工作環境。

經驗教訓

這個專案很好地提醒我們,即使是內部工具也應該具有與使用者導向的產品相同程度的設計嚴謹性。我們的主要收穫包括:

  • 用戶參與至關重要: 我們的版主不只是用戶;也是用戶。他們是共同創造者。他們持續的回饋是我們成功的引擎。
  • 小勝利建立動力: 我們逐步推出功能,慶祝小改進,讓團隊保持參與並為更大的願景感到興奮。
  • 設計是一個持續的對話: Horizo​​n 的推出並不是結束;這是連續迭代周期的開始。我們保持定期的回饋管道以不斷改進該工具。
  • 平衡自動化與人類洞察力: 雖然人工智慧提供了令人難以置信的效率,但了解人類判斷在哪些方面是不可替代的可以確保準確性和公平性,特別是在內容審核等敏感領域。

透過將“The Old Guard”轉變為“Horizo​​n”,我們不僅建立了一個更好的工具,還建立了一個更好的工具。我們為不知疲倦地保護社區的人們打造了更好的體驗。我們相信,這才是真正的節制魔法。

Leave a comment