Dataform

Dataformでtype:’incremental’のとき気をつけるチェック項目

こんにちは、中村です。

今回がDataformに関して詰まったところの備忘録的な記事になります。

具体的にはテーブルタイプがincrementalのとき、実行画面の完全に実行するにチェックを入れると、増分実行ではなく、テーブルを全件再作成します。

この名称がちょっとわかりにくいですよね。?マークにカーソルを合わせると説明が表示されます。
いかにもincrementalと関係しそうな説明ですね。

どんなときにチェックを入れる?

では、どんなときにチェックを入れるのか?についてですが、おもに以下の2つの場合に有用みたいです。

  • 既存のDataformの集計やロジックを変更したときに、既存テーブルをまっさらにしてデータを追加できる。
  • incremental処理のミスや失敗で、データに重複や欠損が生じた場合に、完全リフレッシュで正しい状態に戻せる。

ちなみに、incrementalタイプでも初回は普通にテーブル作成ができるので、そういう用途では使わないようです。

AWS発のAIエージェントIDE「Kiro」を使用した仕様駆動開発を触ってみた。その➁前のページ

dbt Projects on Snowflakeで作成したプロジェクトのdocsを見る方法次のページ

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

カテゴリ
最近の記事
  1. Looker Studioで日付フィルターの開始日・終了日の…
  2. Streamlitでdbt-elementary風ダッシュボ…
  3. Adobe WebSDK FPIDでECIDの復元を検証
  4. dbt Projects on Snowflakeで作成した…
  5. Dataformでtype:’increment…
  1. Amplitude

    Amplitudeを知る。
  2. IT用語集

    メソッド(Method)って何?
  3. IT用語集

    CRM(Customer Relationship Management)って何…
  4. Matillion Practitioner Certification

    Matillion

    Matillion Practitioner Certification 合格体…
  5. タグを設定

    Mouseflow

    AdverTimes Days 2017に出展いたしました
PAGE TOP