Databricks

databricks:GCPで利用を開始する

 

databricksがGCPに対応し、Marketplaceから簡単に使い始められるようになりました。

公式ドキュメントDatabricks documentation | Databricks on Google Cloud を参考に、利用開始までの手順を紹介します。

事前準備

  • GCPの請求アカウントが必要です。
  • クオータの設定が必要です。下記の値がデフォルトから変更が必要となるため、IAMの”割り当て”より割り当てを実施します。
クオータ名 最低限の推奨値 スケーラビリティが求められる際の推奨値
compute.googleapis.com/cpus 60 2500
compute.googleapis.com/n2_cpus 50 300
compute.googleapis.com/ssd_total_storage 7.5TB 50TB

  • プロジェクトで必要なAPIを有効にします。「APIとサービス」より下記のAPIが有効化されているか確認、有効化されていない場合は有効化します。
Google API API名、設定へのリンク
storage.googleapis.com Cloud Storage API
container.googleapis.com Kubernetes Engine API
deploymentmanager.googleapis.com Cloud Deployment Manager V2 API

 

Marketplaceからdatabricksの登録

GCPのMarketplaceより、Databricksを選択します。

 

登録を完了すると、すぐに使えるようになります。

 

「プロバイダで管理」から進み、ログイン画面に。

Sign in with Googleより、Googleアカウントでdatabricksにログインします。

Workspaceの作成

ここからはdatabricksの初期設定です

「Create workspace」にて新しくWorkspaceを作成します

  • Workspace name: 好きな名前を設定
  • Region: databricksのクラスタを起動するリージョンを設定
  • Google cloud project ID: GCPのプロジェクトIDを設定

「Save」でWorkspaceを作成します

作成したWorkspaceをopenすると、databricksの画面になります

これで利用できるようになりました。

 

Clusterを起動しなければ新たな課金は発生しないので、何時でも使えるように準備しておくと良いです

 


ブログへの記事リクエストはこちらまでどうぞ。

関連記事

  1. Databricks

    ScalaでDatabricksのDataFrameを扱う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Databricks

    Databricks: Spark DataFrameでユーザー定義関数を使う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Databricks

    Databricks: Delta Lakeを使ってみる

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Databricks

    Databricks: Spark RDDで使う主なメソッド

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Amazon Web Services

    Databricks Community Editionを使ってApache Sparkを無料で学ぶ…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  6. Adobe Analytics

    Azure DatabricksでAdobe AnalyticsのDatafeedを分析する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. Databricksが買収した8080Labのbambool…
  2. databricksのnotebookを使ってみよう その2…
  3. databricksのnotebookを使ってみよう その1…
  4. databricks:GCPで利用を開始する
  5. KARTE「オフラインデータをオンライン接客に活用する」
  1. Adobe Analytics

    Adobe Analytics: Datafeedのログからパスフローレポートを…
  2. Mouseflow

    Mouseflowの新機能:サイト単位でレコーディング数の制限が可能に!
  3. コンバージョンファネル

    ファネル分析
  4. Mouseflow

    Mouseflowを採用するWebサイトが10万を突破!
  5. Google Analytics

    Google Analytics: ユニバーサルアナリティクスの拡張Eコマース用…
PAGE TOP