目標更新方法
您可以在初始任務設定期間或在之後,於資料任務設定中設定要使用哪個更新方法。資料任務準備後,就無法變更更新方法。
可用的更新方法由任務類型、連接器功能和連接器分類來決定。可用的資料移動任務類型是登陸、複寫或在資料湖中登陸資料。
有關連接器分類和功能的資訊,請參閱連接器的說明。連接器分類由相關說明頁面頂端的徽章指示。沒有徽章的連接器分類為「標準」。
有關連接器分類的詳細解釋,請參閱 連接器分類。
使用預覽連接器時的更新方法
僅透過複寫專案支援預覽連接器。使用預覽連接器時,所有資料將會作為變更 (插入/更新) 填到目標,包括初始完整載入。因此,預覽連接器唯一支援的更新方法如下:
- 對於「複寫資料」任務:僅套用變更和儲存變更複寫模式。所有資料將會作為變更 (插入/更新) 填到目標/變更表格,包括初始完整載入。請注意,透過特定表格類型,無法識別變更。在這種情況下,將會從開頭處理所有表格資料。
- 對於「在資料湖中登陸資料」任務:僅變更資料擷取 (CDC) 更新方法。所有資料將會作為變更 (插入/更新) 填到目標,包括初始完整載入。請注意,透過特定表格類型,無法識別變更。在這種情況下,將會從開頭處理所有表格資料。
使用預覽連接器時,您需要排程從來源擷取變更的頻率。如需更多資訊,請參閱下列主題:
- 對於「複寫資料」任務: 排程複寫任務的 CDC
- 對於「在資料湖中登陸資料」任務: 排程湖登陸任務的 CDC
登陸資料時的更新方法
-
使用變更表格進行變更資料擷取 (CDC)
資料任務以完整載入開始。之後會根據日期欄位使用增量載入,將目標資料保持為最新狀態。CDC 不一定受到所有資料來源的支援。
資訊備註不支援 DELETE 操作。這表示,若在來源中刪除列,不會在登陸資料中刪除。若刪除處理很重要,請改用載入並比較。使用 Data Movement gateway 並從 SaaS 應用程式登陸資料時,您可在設定 > 變更處理微調設定從來源讀取變更之間的間隔。若不使用 Data Movement gateway,您可使用排程器設定間隔。如需詳細資訊,請參閱在不使用 Data Movement gateway 時排程 CDC 任務。
-
載入並比較
資料任務會從來源執行僅限完整載入。例如,如果來源不支援 CDC,或者若您希望 DELETE 操作 (不受 CDC 的支援) 散佈到目標,這很實用。載入並比較可搭配任何支援的資料來源使用,也可以排程定期發生。
複寫至資料庫或資料倉庫目標時的更新方法
-
完整載入:將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但如有需要,也可以手動執行。例如,如果您需要將更新複寫到檢視 (未在 CDC 期間擷取) 或您正在從不支援 CDC 的資料來源複寫,則需要手動完整載入。
-
套用變更:以對來源表格所做的任何變更更新目標表格。
-
儲存變更:在變更表格 (每個來源表格一個)中將變更儲存至來源表格。
如需詳細資訊,請參閱儲存變更。
使用 Data Movement gateway 時,會幾乎即時地從來源擷取變更。在沒有 Data Movement gateway 的情況下工作時 (例如透過 Qlik Talend Cloud 啟動器 訂閱或選取無時),會根據排程器設定擷取變更。如需詳細資訊,請參閱 資料複寫任務設定。
複寫至雲端儲存 (資料湖) 時的更新方法
-
使用變更表格進行變更資料擷取 (CDC):資料湖登陸任務以完整載入開始 (在此期間,所有選取的表格會登陸到目標)。然後目標資料會使用 CDC (變更資料擷取) 技術保持最新狀態。
資訊備註不支援 DDL 操作的 CDC (變更資料擷取)。使用 Data Movement gateway 時,會幾乎即時地從來源擷取變更。在沒有 Data Movement gateway 的情況下工作時,會根據排程器設定擷取變更。如需詳細資訊,請參閱 雲端儲存目標的設定。
-
載入:執行完整載入以將資料從所選來源表格載入到目標平台,並建立目標表格 (如有必要)。完整載入會在任務開始時自動發生,但也可以根據需要手動執行或安排定期進行。
根據訂閱層級,設定複寫至雲端儲存的程序會不同。
- 若您有標準、企業或進階訂閱,請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
- 若您有入門訂閱,請參閱 透過 Qlik Talend Cloud 啟動器 訂閱複寫資料
理解排程變更資料擷取 (CDC)
在沒有 Data Movement gateway 的情況下或使用預覽連接器工作時,會根據排程的間隔擷取變更。重要的是,應注意排程如何運作,這以範例方式最能呈現。在下列範例中,任務已排程每 30 分鐘執行一次,在 9:00 開始。
- 任務以完整載入在 9:00 開始。
- 完整載入於 9:40 結束,表示將會略過 9:30 的執行。
- 下次執行於 10:00 開始,並會擷取 10:00 前所做的任何變更。
- 10:00 執行於 10:15 結束。
- 下次執行於 10:30 開始,並擷取 10:00 和 10:30 之間發生的任何變更。
限制
SaaS 應用程式傳回的某些表格不受變更資料擷取 (CDC) 支援。在此情況下,您將會在驗證錯誤中看見警告訊息。您可以:
-
從資料任務刪除表格。
-
將資料任務的更新方法變更為載入並比較。