Adobe Analytics

Adobe AnalyticsからDWHレポートをGoogle Cloud Storageにアップロードする方法

こんにちは、エクスチュアCTOの権です。

以前、AdobeAnalyticsのデータフィードをGoogle Compute EngineにSFTPアップロードする方法について書きました。
今回はその応用です。

実はAdobe Analyticsから直接Cloud StorageにDWHのレポートファイルをアップロード出来ません。

しかし、LinuxにCloud Storageをファイルシステムとしてマウントする事が可能なGCS Fuseというツールを使えば解決します。
このGCS Fuseがあれば、AdobeからCompute EngineのVM経由でCloud StorageにリアルタイムでDWHファイルをアップロード出来ます。

GCS Fuseとは、Google Cloud StorageのバケットをLinuxのネットワークドライブとしてマウントするツールです。

Cloud Storage FUSE

というわけで以下手順です。

1. まずはGCSFuseをセットアップします。
GCEでLinuxVMを作成して、それからgithubに書いてある手順のとおりにGCSFuseのインストールを実行します。

2. 続いて、Cloud Storageのバケットを作成して、LinuxVM上に空のディレクトリを作成します。
それからGCSFuseを使ってバケットをマウントします。

例えばホームディレクトリにfilesというディレクトリを作成して、そこにexture-hogehogeというバケットをマウントします。

$ mkdir ~/files
$ gcsfuse exture-hogehoge ~/files

gcsfuseコマンドの引数で、バケット名にgs://をつける必要はありません。
ここで試しにfilesディレクトリに何かファイルを作成すると、Cloud Storageのバケットに同じファイルが生成される事が確認出来ます。

$ touch ~/files/foobar.txt

foobar.txtがバケットの中に出てきました。

3. Adobeの公開鍵を入手します。
以前、この記事に書いたように、Adobe Analyticsのデータフィード作成画面から公開鍵(RSA)をダウンロードします。

4. 入手したAdobe公開鍵を、SFTPアップロード先のLinuxサーバー(GCEのVMなど)のアカウントの .ssh/authorized_keys の末尾に追記します。
※authorized_keysファイルが存在しない場合は作成して、chmod 600 でアクセス権を変更

5. Adobe AnalyticsのDWHをSFTPで配信する設定を作成します。
DWHをSFTPで配信する場合は、アドバンス配信設定でFTPを選び下記の情報を入力します。

・ホスト名にsftp://から始まるホスト名を入れる。ここではVMインスタンスのIPアドレスを使う。
・ポート番号 22番
・GCS Fuseバケットをマウントしたディレクトリ
・ログインアカウント
・パスワードは不要

レポートが生成されると、Cloud StoraageにDWHのファイルが出てきます。
下記のexture_20180104.csvというファイルがDWHから配信されたファイルです。

今回は、Adobe AnalyticsのDWHレポートをGoogle Cloud Storageのバケットにアップロードするための小細工について紹介しました。
弊社ではAdobe AnalayticsやGoogle Analyticsのレポートを活用するための分析基盤構築支援などを行っております。

お問い合わせはこちらからどうぞ。

関連記事

  1. Adobe Analytics

    Adobe Analytics: DWHレポートの日付列をBigQueryのDate型として扱う

    こんにちは、エクスチュアの権泳東(コン・ヨンドン)です。今回はAd…

  2. Adobe Analytics

    Adobe Analytics: データフィードをBigQueryで集計する

    こんにちは、エクスチュアCTOの権です。前回のブログで、Ado…

  3. Adobe Analytics

    Adobe Analytics: VisitorAPIでSafariでもクロスドメイン計測をする

    この情報は2016年9月時点のものです。こんにちは、エクスチュ…

  4. Google BigQuery

    GCP: 今月のGCP課金額をslackに自動的に書き込む

    こんにちは、エクスチュアCTOの権です。今回はGCPの課金額を…

  5. Firebase Analytics

    Firebase AnalyticsのデータをフラットなCSVに変換するETL処理

    こんにちは、エクスチュアCTOの権です。今日はFirebase A…

  6. Adobe Analytics

    Adobe Analytics: DatafeedのログからパスフローレポートをBigQueryで作…

    こんにちは、エクスチュアの権泳東(コン・ヨンドン)です。以前このブ…

最近の記事

  1. Azure DatabricksでAdobe Analyti…
  2. GoogleDataStudio:複数のデータソースにフィル…
  3. Node.js+GAE: 日本語自然文を形態素解析してネガポ…
  4. Tableauで半円型のゲージを作る方法
  5. Looker: サンバーストグラフを使って階層データを可視化…
  1. Google Cloud Platform

    GoogleNext 2019レポート:初日目
  2. Adobe Analytics

    Adobe Analyticsと「どこどこJP」のAPIを連携する
  3. Tableau

    TableauでTreasure Data上のデータへ接続する方法(2019/4…
  4. Adobe Analytics

    Adobe Analytics: DWHレポートをAWSのS3バケットに配信する…
  5. Cloud Dataproc

    BigQueryテーブルをAVRO形式でエクスポートしてHiveで扱う
PAGE TOP