ETL 資料流水線
數據從多個資料來源擷取資料、經過清洗轉換、品質驗證後載入目標資料庫，包含排程執行和錯誤處理機制。
apiclidb
為什麼需要 OSOP
ETL 流水線的穩定性直接影響資料品質。OSOP 定義每個階段的轉換邏輯和品質檢查點，當某個環節失敗時自動重試或通知，確保資料流的可靠性。
Workflow Steps (4)
1
Extract from API
api2
Transform & Clean
cli3
Schema Validation
system4
Load to Database
dbConnections (4)
Extract from API→Transform & Cleansequential
Transform & Clean→Schema Validationsequential
Schema Validation→Load to Databaseconditionalvalidation.passed == true
Extract from API→Transform & CleanfallbackUse cached data on API failure
4
Steps
4
Connections
4
Node Types