Adobe Analytics

Adobe AnalyticsからDWHレポートをGoogle Cloud Storageにアップロードする方法

こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。

Twitter:@exturekwon

以前、AdobeAnalyticsのデータフィードをGoogle Compute EngineにSFTPアップロードする方法について書きました。
今回はその応用です。

実はAdobe Analyticsから直接Cloud StorageにDWHのレポートファイルをアップロード出来ません。

しかし、LinuxにCloud Storageをファイルシステムとしてマウントする事が可能なGCS Fuseというツールを使えば解決します。
このGCS Fuseがあれば、AdobeからCompute EngineのVM経由でCloud StorageにリアルタイムでDWHファイルをアップロード出来ます。

GCS Fuseとは、Google Cloud StorageのバケットをLinuxのネットワークドライブとしてマウントするツールです。

Cloud Storage FUSE

というわけで以下手順です。

1. まずはGCSFuseをセットアップします。
GCEでLinuxVMを作成して、それからgithubに書いてある手順のとおりにGCSFuseのインストールを実行します。

2. 続いて、Cloud Storageのバケットを作成して、LinuxVM上に空のディレクトリを作成します。
それからGCSFuseを使ってバケットをマウントします。

例えばホームディレクトリにfilesというディレクトリを作成して、そこにexture-hogehogeというバケットをマウントします。

$ mkdir ~/files
$ gcsfuse exture-hogehoge ~/files

gcsfuseコマンドの引数で、バケット名にgs://をつける必要はありません。
ここで試しにfilesディレクトリに何かファイルを作成すると、Cloud Storageのバケットに同じファイルが生成される事が確認出来ます。

$ touch ~/files/foobar.txt

foobar.txtがバケットの中に出てきました。

3. Adobeの公開鍵を入手します。
以前、この記事に書いたように、Adobe Analyticsのデータフィード作成画面から公開鍵(RSA)をダウンロードします。

4. 入手したAdobe公開鍵を、SFTPアップロード先のLinuxサーバー(GCEのVMなど)のアカウントの .ssh/authorized_keys の末尾に追記します。
※authorized_keysファイルが存在しない場合は作成して、chmod 600 でアクセス権を変更

5. Adobe AnalyticsのDWHをSFTPで配信する設定を作成します。
DWHをSFTPで配信する場合は、アドバンス配信設定でFTPを選び下記の情報を入力します。

・ホスト名にsftp://から始まるホスト名を入れる。ここではVMインスタンスのIPアドレスを使う。
・ポート番号 22番
・GCS Fuseバケットをマウントしたディレクトリ
・ログインアカウント
・パスワードは不要

レポートが生成されると、Cloud StoraageにDWHのファイルが出てきます。
下記のexture_20180104.csvというファイルがDWHから配信されたファイルです。

今回は、Adobe AnalyticsのDWHレポートをGoogle Cloud Storageのバケットにアップロードするための小細工について紹介しました。
弊社ではAdobe AnalayticsやGoogle Analyticsのレポートを活用するための分析基盤構築支援などを行っております。

お問い合わせはこちらからどうぞ。

ブログへの記事リクエストはこちらまで

関連記事

  1. Adobe Analytics

    Adobe Analytics: Webサイト内で発生したJavascriptエラーの内容をAdob…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Cloud Dataproc

    BigQueryテーブルをAVRO形式でエクスポートしてHiveで扱う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Enterprise Data Warehouse

    爆速データウェアハウスなApache Druidを試す

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Adobe Analytics

    AdobeAnalytics Datafeed: BigQueryのSIGN関数を使った小ワザ

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Adobe Analytics

    Adobe Analytics: Datafeedにデバイスデータがないけど慌てない

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. ELB (ALB・NLB・CLB) をサクッと学ぶ
  2. Direct Connect vs Site to Site…
  3. パブリックサブネット vs プライベートサブネット
  4. セキュリティグループ vs ネットワークACL
  5. IAM (Identity and Access Manag…
  1. Metabase

    Metabotを使ってSlackにMetabaseのグラフを投稿する
  2. Adobe Analytics

    Adobe Analyticsリリース情報:ワークスペースで複数RSが使えるよう…
  3. Google Analytics

    Server-side GTMのGAビーコンログをBigQueryにエクスポート…
  4. Adobe Analytics

    Adobe Analytics: Datafeedのログからパスフローレポートを…
  5. Databricks

    Databricks: Delta Lakeを使ってみる
PAGE TOP