Dataform

Dataformでtype:’incremental’のとき気をつけるチェック項目

こんにちは、中村です。

今回がDataformに関して詰まったところの備忘録的な記事になります。

具体的にはテーブルタイプがincrementalのとき、実行画面の完全に実行するにチェックを入れると、増分実行ではなく、テーブルを全件再作成します。

この名称がちょっとわかりにくいですよね。?マークにカーソルを合わせると説明が表示されます。
いかにもincrementalと関係しそうな説明ですね。

どんなときにチェックを入れる?

では、どんなときにチェックを入れるのか?についてですが、おもに以下の2つの場合に有用みたいです。

  • 既存のDataformの集計やロジックを変更したときに、既存テーブルをまっさらにしてデータを追加できる。
  • incremental処理のミスや失敗で、データに重複や欠損が生じた場合に、完全リフレッシュで正しい状態に戻せる。

ちなみに、incrementalタイプでも初回は普通にテーブル作成ができるので、そういう用途では使わないようです。

AWS発のAIエージェントIDE「Kiro」を使用した仕様駆動開発を触ってみた。その➁前のページ

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

カテゴリ
最近の記事
  1. Dataformでtype:’increment…
  2. dbt Projects on SnowflakeをTASK…
  3. AWS発のAIエージェントIDE「Kiro」を使用した仕様駆…
  4. AWS発のAIエージェントIDE「Kiro」を使用した仕様駆…
  5. TableauとSnowflakeを接続する方法
  1. Adobe Analytics

    Adobe Analytics:セグメントの落とし穴:意図しないデータが混ざる①…
  2. dbt

    dbt Cloud使ってみた
  3. Adobe Analytics

    Adobe Analytics: カスタムリンク計測を1行で書く
  4. IT用語集

    暗号化・共通鍵暗号・公開鍵暗号って何?
  5. Adobe Analytics

    Adobe Analytics: ランドスケイプの「企業ログ解析データベースAP…
PAGE TOP