Google BigQuery

GoogleNext 2019レポート:3日目

こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。

GoogleNext2019の3日間が終わりました。

最終日の3日目はキーノートはなかったので、朝からブレークアウトセッションに参加。
その中から、BigQuery関連のセッションを2つ紹介します。

Unlocking the Power of Google BigQuery

BigQueryのアーキテクチャと新機能(アルファ版)についてのセッションでした。

BigQueryのアーキテクチャ

BigQueryのメタデータ管理にはSpannerの技術も流用されるのかーと関心しつつ、新機能「Scripting」のリリースが驚きでした。

動画の22:30過ぎから出てきますが、BigQueryにスクリプト機能が実装されました。
クエリをループしたり、条件分岐でクエリを変えたりなど、従来なら何度も繰り返しクエリを実行する必要があった処理も、ひとつのクエリの中で実行出来る訳です。
プロシージャのような使い方が出来ますね。

例えば複数の会員データソースから同じユーザーを名寄せする処理においてユーザーを識別するキーが重複しなくなるまでクエリを回し続けるなんて処理がSQLだけで出来る事が期待されます。

また、UDFもアップデートがありました。
従来はテンポラリなUDFしか作れませんでしたが、今後は永続UDFもサポートされます。
クエリを実行する度にUDFを書く必要がなくて、UDFを一度宣言しておけば、他のクエリからでも使える訳です。

BigQueryがどんんどん痒いところに手が届いてくように進化します。

Making Planet Scale Geospatial Processing Possible with BigQuery GIS

BigQuery GISとEarth Engineを使って、AIS船舶位置情報+衛星データを元に違法操業してる漁船を見つけ出すという事例です。

BigQuery GIS + Earth Engine

まずAISデータを機械学習する事で、船の動きからその船舶が漁船なのか一般船舶なのかを判定します。
しかし違法操業船はAISデータなんて発信しません。

なので、今度は衛星データの中からAIS信号を発信している漁船と、AIS信号に一致しない漁船を識別して、どこで違法操業が行われてるかというのを見つけ出す事例でした。

BigQuery GISと空間データを使った分析は今後も需要が増えそうです。

漁船とその他の船舶を識別

というわけで、あっという間の3日間でした。

弊社はGCPサービスパートナーです。
来年のGoogle Nextに一緒に参加してくれる仲間を募集しております。
お問合わせはこちらからどうぞ。

ブログへの記事リクエストはこちらまで

Adobe Summit 2019 レポート前のページ

BigQuery BI Engine解説次のページ

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

関連記事

  1. GA 360 Suite

    GoogleDataStudio:複数のデータソースにフィルターを適用する

    こんにちは。エクスチュアの渡部です。今回はDataStudio(デ…

  2. Adobe Analytics

    BigQuery: テーブルに格納されたURL文字列をKey-ValueのSTRUCT型で抽出する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. GA 360 Suite

    Google Analytics 360: BigQueryを使ってアトリビューション分析で91日以…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Google BigQuery

    GCP: 今月のGCP課金額をslackに自動的に書き込む

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Google BigQuery

    OWOX BI: GoogleSheetsアドオンでBigQueryをお手軽ビジュアライズ

    こんにちは、エクスチュアの權泳東(コン・ヨンドン)です。今日は…

  6. Google Analytics

    Google Analytics 4: イベントパラメータをセッションスコープで集計する方法

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

カテゴリ
最近の記事
  1. Looker Studioで日付フィルターの開始日・終了日の…
  2. Streamlitでdbt-elementary風ダッシュボ…
  3. Adobe WebSDK FPIDでECIDの復元を検証
  4. dbt Projects on Snowflakeで作成した…
  5. Dataformでtype:’increment…
  1. Google Apps Script(GAS)

    文字列置換アプリを作成しました
  2. ブログ

    ①DMPについて
  3. Mouseflow

    Mouseflowのセッションリプレイのしくみ
  4. ブログ

    競合調査
  5. データサイエンス

    ベイズとかいうすごいやつ
PAGE TOP