Métodos de atualização de destino

Você pode definir qual método de atualização usar, durante a configuração inicial da tarefa ou posteriormente nas Configurações da tarefa de dados. Não é possível alterar o método de atualização depois que a tarefa de dados foi preparada.

Os métodos de atualização disponíveis são determinados pelo tipo de tarefa, pelos recursos do conector e pela classificação do conector. Os tipos de tarefas de movimentação de dados disponíveis são aterrissagem, replicação ou aterrissagem de dados em um data lake.

Para obter informações sobre a classificação e os recursos de seu conector, consulte a ajuda do conector. A classificação do conector é indicada por um emblema na parte superior da página de ajuda relacionada. Os conectores sem crachá são classificados como "Standard".

Para obter uma explicação detalhada das classificações de conector, consulte Classificações do conector.

Métodos de atualização ao trabalhar com conectores Preview

Conectores Preview são compatíveis apenas com projetos de Replicação. Ao trabalhar com conectores Preview, todos os dados são propagados para o destino como alterações (inserções/atualizações), incluindo o carregamento total inicial. Consequentemente, o único método de atualização compatível para os conectores Preview é o seguinte:

• Para tarefas "Replicar dados": Apenas os modos de replicação Aplicar alterações e Armazenar alterações. Todos os dados serão propagados para as tabelas de destino/alteração como alterações (inserções/atualizações), incluindo o carregamento total inicial. Observe que, com certos tipos de tabela, não é possível identificar alterações. Nesses casos, todos os dados da tabela serão processados desde o início.
• Para tarefas "Aterrisar dados no data lake": Apenas o método de atualização Captura de dados alterados (CDC). Todos os dados serão propagados para o destino como alterações (inserções/atualizações), incluindo o carregamento total inicial. Observe que, com certos tipos de tabela, não é possível identificar alterações. Nesses casos, todos os dados da tabela serão processados desde o início.

Ao trabalhar com os conectores Preview, você precisa programar a frequência de captura das alterações da fonte. Para obter mais informações, consulte os seguintes tópicos:

• Para tarefas "Replicar dados": Agendando uma CDC para tarefas de replicação
• Para tarefas "Aterrisar dados no data lake": Agendando uma CDC para tarefas de aterrisagem no lake

Métodos de atualização ao obter dados

• Alterar captura de dados (CDC) usando tabelas de alteração

  A tarefa de dados começa com um carregamento total Os dados de destino são mantidos atualizados usando carregamento incremental com base em campos de data. O CDC talvez não tenha suporte por todas as fontes de dados.

  Nota informativaNão há suporte para operações DELETE. Isso significa que, se uma linha for excluída na origem, ela não será excluída nos dados de aterrisagem. Se o tratamento de exclusão for importante, use Recarregar e comparar.

  Ao trabalhar com o Data Movement gateway e dados de aterrisagem de aplicativos SaaS, você define o intervalo entre as alterações de leitura da fonte, em Configurações > Ajuste do processamento de alterações. Ao trabalhar sem o Data Movement gateway, você define o intervalo usando o Agendador. Para obter mais informações, consulte Programando tarefas de CDC ao trabalhar sem o Data Movement gateway.

• Recarregar e comparar

  A tarefa de dados executa carregamentos totais somente da origem. Isso é útil se sua origem não oferece suporte a CDC, por exemplo, ou se você deseja que operações DELETE (que não são suportadas por CDC) sejam propagadas para o destino. Recarregar e comparar pode ser usado com qualquer fonte de dados compatível e pode ser programado para ocorrer periodicamente.

Atualizar métodos ao replicar para destinos de banco de dados ou armazém de dados

• Carregamento total: Carrega os dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente se necessário. O carregamento total manual seria necessário, por exemplo, se você precisasse replicar atualizações em visualizações (que não são capturadas durante a CDC) ou se estivesse replicando de uma fonte de dados que não aceita CDC.

• Aplicar alterações: Mantém as tabelas de destino atualizadas com quaisquer alterações feitas nas tabelas de origem.

• Armazenar alterações: Armazena as alterações nas tabelas de origem em Tabelas de alterações (uma por tabela de origem).

  Para obter mais informações, consulte Armazenar alterações.

Ao trabalhar com o Data Movement gateway, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem o Data Movement gateway (por exemplo, com uma assinatura do Iniciante do Qlik Talend Cloud ou ao selecionar Nenhum), as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Configurações de tarefa de replicação de dados.

Atualizar métodos ao replicar para armazenamento na nuvem (data lakes)

• Alterar captura de dados (CDC) usando tabelas de alteração: As tarefas de aterrissagem do data lake começam com um carregamento total (durante o qual todas as tabelas selecionadas são carregadas no destino). Os dados de destino são então mantidos atualizados usando a tecnologia CDC (Captura de dados alterados).

  Nota informativaNão há suporte para a CDC (Captura de dados de alterações) de operações DDL.

  Ao trabalhar com o Data Movement gateway, as alterações são capturadas da fonte quase em tempo real. Ao trabalhar sem o Data Movement gateway, as alterações são capturadas de acordo com as configurações do agendador. Para obter mais informações, consulte Configurações para destinos de armazenamento em nuvem.

• Recarregamento: Faz um carregamento total dos dados das tabelas de origem selecionadas na plataforma de destino e cria as tabelas de destino, se necessário. O carregamento total ocorre automaticamente quando a tarefa é iniciada, mas também pode ser realizado manualmente ou agendado para ocorrer periodicamente, se necessário.

Entendendo a captura de dados de alteração programada (CDC)

Ao trabalhar sem o Data Movement gateway ou ao usar conectores Preview, as alterações são capturadas de acordo com um intervalo agendado. É importante estar ciente de como o agendamento funciona, o que é melhor demonstrado por meio de um exemplo. No exemplo a seguir, uma tarefa foi agendada para ser executada a cada 30 minutos, começando às 9h.

• A tarefa começa às 9:00 com carregamento total.
• O carregamento total termina às 9h40, o que significa que a execução das 9h30 será ignorada.
• A próxima execução começa às 10h e captura todas as alterações confirmadas até as 10h.
• A execução das 10h termina às 10h15.
• A próxima execução começa às 10h30 e captura todas as alterações que ocorreram entre 10h e 10h30.

Limitações

Algumas tabelas retornadas pelo aplicativo SaaS não são compatíveis com o Change data capture (CDC). Nesse caso, você verá uma mensagem de aviso em Erros de validação. Você pode:

• Exclua a tabela da tarefa de dados.

• Altere o método de atualização da tarefa de dados para Recarregar e comparar.