Dataform

Dataformでtype:’incremental’のとき気をつけるチェック項目

こんにちは、中村です。

今回がDataformに関して詰まったところの備忘録的な記事になります。

具体的にはテーブルタイプがincrementalのとき、実行画面の完全に実行するにチェックを入れると、増分実行ではなく、テーブルを全件再作成します。

この名称がちょっとわかりにくいですよね。?マークにカーソルを合わせると説明が表示されます。
いかにもincrementalと関係しそうな説明ですね。

どんなときにチェックを入れる?

では、どんなときにチェックを入れるのか?についてですが、おもに以下の2つの場合に有用みたいです。

  • 既存のDataformの集計やロジックを変更したときに、既存テーブルをまっさらにしてデータを追加できる。
  • incremental処理のミスや失敗で、データに重複や欠損が生じた場合に、完全リフレッシュで正しい状態に戻せる。

ちなみに、incrementalタイプでも初回は普通にテーブル作成ができるので、そういう用途では使わないようです。

AWS発のAIエージェントIDE「Kiro」を使用した仕様駆動開発を触ってみた。その➁前のページ

dbt Projects on Snowflakeで作成したプロジェクトのdocsを見る方法次のページ

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

カテゴリ
最近の記事
  1. Adobe Target Recommendations:g…
  2. Conversational Analytics APIでお…
  3. Looker Studioで日付フィルターの開始日・終了日の…
  4. Streamlitでdbt-elementary風ダッシュボ…
  5. Adobe WebSDK FPIDでECIDの復元を検証
  1. Databricks

    Databricks: Spark DataFramesをJDBCから作成する
  2. Mouseflow

    Mouseflowで問題解決② -事例ベースで機能紹介-
  3. Mouseflow

    Mouseflowのセッションリプレイのしくみ
  4. Adobe Analytics

    Adobe Summit 2020レポート: Implementation Ti…
  5. Generative AI

    AIを使ったマーケティングゲームを作ってみた
PAGE TOP