Adobe Analytics

Adobe AnalyticsからDWHレポートをGoogle Cloud Storageにアップロードする方法

こんにちは、エクスチュアCTOの権です。

以前、AdobeAnalyticsのデータフィードをGoogle Compute EngineにSFTPアップロードする方法について書きました。
今回はその応用です。

実はAdobe Analyticsから直接Cloud StorageにDWHのレポートファイルをアップロード出来ません。

しかし、LinuxにCloud Storageをファイルシステムとしてマウントする事が可能なGCS Fuseというツールを使えば解決します。
このGCS Fuseがあれば、AdobeからCompute EngineのVM経由でCloud StorageにリアルタイムでDWHファイルをアップロード出来ます。

GCS Fuseとは、Google Cloud StorageのバケットをLinuxのネットワークドライブとしてマウントするツールです。

Cloud Storage FUSE

というわけで以下手順です。

1. まずはGCSFuseをセットアップします。
GCEでLinuxVMを作成して、それからgithubに書いてある手順のとおりにGCSFuseのインストールを実行します。

2. 続いて、Cloud Storageのバケットを作成して、LinuxVM上に空のディレクトリを作成します。
それからGCSFuseを使ってバケットをマウントします。

例えばホームディレクトリにfilesというディレクトリを作成して、そこにexture-hogehogeというバケットをマウントします。

$ mkdir ~/files
$ gcsfuse exture-hogehoge ~/files

gcsfuseコマンドの引数で、バケット名にgs://をつける必要はありません。
ここで試しにfilesディレクトリに何かファイルを作成すると、Cloud Storageのバケットに同じファイルが生成される事が確認出来ます。

$ touch ~/files/foobar.txt

foobar.txtがバケットの中に出てきました。

3. Adobeの公開鍵を入手します。
以前、この記事に書いたように、Adobe Analyticsのデータフィード作成画面から公開鍵(RSA)をダウンロードします。

4. 入手したAdobe公開鍵を、SFTPアップロード先のLinuxサーバー(GCEのVMなど)のアカウントの .ssh/authorized_keys の末尾に追記します。
※authorized_keysファイルが存在しない場合は作成して、chmod 600 でアクセス権を変更

5. Adobe AnalyticsのDWHをSFTPで配信する設定を作成します。
DWHをSFTPで配信する場合は、アドバンス配信設定でFTPを選び下記の情報を入力します。

・ホスト名にsftp://から始まるホスト名を入れる。ここではVMインスタンスのIPアドレスを使う。
・ポート番号 22番
・GCS Fuseバケットをマウントしたディレクトリ
・ログインアカウント
・パスワードは不要

レポートが生成されると、Cloud StoraageにDWHのファイルが出てきます。
下記のexture_20180104.csvというファイルがDWHから配信されたファイルです。

今回は、Adobe AnalyticsのDWHレポートをGoogle Cloud Storageのバケットにアップロードするための小細工について紹介しました。
弊社ではAdobe AnalayticsやGoogle Analyticsのレポートを活用するための分析基盤構築支援などを行っております。

お問い合わせはこちらからどうぞ。

関連記事

  1. Adobe Analytics

    Adobe Analytics: Mobile SDK 4.x でアプリ計測する際の小技

    こんにちは、エクスチュアCTOの権です。今回も、かつて個人ブロ…

  2. Adobe Analytics

    Adobe Analytics:自動で分析してくれる貢献度分析(異常値検出)機能

    こんにちは、CEOの原田です。今回は随分前から公開されてるのに…

  3. Google BigQuery

    BigQuery BI Engine解説

    こんにちは、エクスチュア渡部です。2019/4/9-4/11に行わ…

  4. Google Cloud Platform

    Google Compute Engine のLinuxVMにVNC接続する

    こんにちは、エクスチュアCTOの権です。今回は、GCEのLin…

  5. Adobe Analytics

    AdobeAnalyticsでReactNativeアプリを計測する

    こんにちは、エクスチュアの権泳東(コン・ヨンドン)です。今回は…

  6. Google Cloud Platform

    Looker: LookerbotでSlackにグラフ画像をスケジュール投稿する

    こんにちは、エクスチュアの権泳東(コン・ヨンドン)です。最近は…

最近の記事

  1. データアナリスト/データエンジニア向けNext19まとめ
  2. BigQuery BI Engine解説
  3. GoogleNext 2019レポート:3日目
  4. Adobe Summit 2019 レポート
  5. GoogleNext 2019レポート:2日目
  1. Looker

    Looker: 公開されているLookML Blockをクローンして使う方法
  2. Adobe Analytics

    Adobe Analyticsに入り切らないデータをBigQueryに投入する
  3. Adobe Analytics

    Adobe AnaltyicsとGoogle Analytics の「生Webビ…
  4. Pardot

    Pardotの初期セットアップをする① DNSレコード設定とトラッカードメイン設…
  5. Tableau

    Tableau:分かりやすいLOD – INCLUDE編
PAGE TOP