AI 內容審核
AI → HumanAI 自動審核用戶內容,標記項目轉交人工審核員。
5 個節點 · 4 條連接social
agenthumansystem
視覺化
內容提交event
用戶發布文字、圖片或影片。
↓sequential→ AI 安全掃描
AI 安全掃描agent
檢查仇恨言論、不當內容、垃圾訊息與不實資訊。
↓conditional→ 自動核准
↓conditional→ 人工審核員審查
自動核准system
內容通過所有檢查。
人工審核員審查human
審核員審查被標記的內容。
↓sequential→ 執行決定
執行決定system
發布、下架或限制內容。
uc-content-moderation.osop.yaml
osop_version: "1.0"
id: "content-moderation"
name:"AI 內容審核"
description:"AI 自動審核用戶內容,標記項目轉交人工審核員。"
nodes:
- id: "content_submitted"
type: "event"
name: "內容提交"
description: "用戶發布文字、圖片或影片。"
- id: "ai_scan"
type: "agent"
subtype: "llm"
name: "AI 安全掃描"
description: "檢查仇恨言論、不當內容、垃圾訊息與不實資訊。"
security:
risk_level: "low"
- id: "auto_approve"
type: "system"
name: "自動核准"
description: "內容通過所有檢查。"
- id: "flag_review"
type: "human"
subtype: "review"
name: "人工審核員審查"
description: "審核員審查被標記的內容。"
security:
approval_gate: true
- id: "action"
type: "system"
name: "執行決定"
description: "發布、下架或限制內容。"
edges:
- from: "content_submitted"
to: "ai_scan"
mode: "sequential"
- from: "ai_scan"
to: "auto_approve"
mode: "conditional"
when: "scan.safe == true"
- from: "ai_scan"
to: "flag_review"
mode: "conditional"
when: "scan.safe == false"
- from: "flag_review"
to: "action"
mode: "sequential"