Dataform

Dataformでtype:’incremental’のとき気をつけるチェック項目

こんにちは、中村です。

今回がDataformに関して詰まったところの備忘録的な記事になります。

具体的にはテーブルタイプがincrementalのとき、実行画面の完全に実行するにチェックを入れると、増分実行ではなく、テーブルを全件再作成します。

この名称がちょっとわかりにくいですよね。?マークにカーソルを合わせると説明が表示されます。
いかにもincrementalと関係しそうな説明ですね。

どんなときにチェックを入れる?

では、どんなときにチェックを入れるのか?についてですが、おもに以下の2つの場合に有用みたいです。

  • 既存のDataformの集計やロジックを変更したときに、既存テーブルをまっさらにしてデータを追加できる。
  • incremental処理のミスや失敗で、データに重複や欠損が生じた場合に、完全リフレッシュで正しい状態に戻せる。

ちなみに、incrementalタイプでも初回は普通にテーブル作成ができるので、そういう用途では使わないようです。

AWS発のAIエージェントIDE「Kiro」を使用した仕様駆動開発を触ってみた。その➁前のページ

dbt Projects on Snowflakeで作成したプロジェクトのdocsを見る方法次のページ

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

カテゴリ
最近の記事
  1. Looker Studioで日付フィルターの開始日・終了日の…
  2. Streamlitでdbt-elementary風ダッシュボ…
  3. Adobe WebSDK FPIDでECIDの復元を検証
  4. dbt Projects on Snowflakeで作成した…
  5. Dataformでtype:’increment…
  1. Mouseflow

    【Tips】mouseflowを使ってたった5分でコンバージョン率を上げる方法
  2. Google Cloud Platform

    Server-side GTM を Google AppEngine にデプロイ…
  3. フィードバック分析

    Mouseflow新機能 – フィードバック
  4. Looker

    Looker: 公開されているLookML Blockをクローンして使う方法
  5. Tableau

    Tableau Serverの基礎をまとめてみた
PAGE TOP