Databricks

databricks:GCPで利用を開始する

 

databricksがGCPに対応し、Marketplaceから簡単に使い始められるようになりました。

公式ドキュメントDatabricks documentation | Databricks on Google Cloud を参考に、利用開始までの手順を紹介します。

事前準備

  • GCPの請求アカウントが必要です。
  • クオータの設定が必要です。下記の値がデフォルトから変更が必要となるため、IAMの”割り当て”より割り当てを実施します。
クオータ名 最低限の推奨値 スケーラビリティが求められる際の推奨値
compute.googleapis.com/cpus 60 2500
compute.googleapis.com/n2_cpus 50 300
compute.googleapis.com/ssd_total_storage 7.5TB 50TB

  • プロジェクトで必要なAPIを有効にします。「APIとサービス」より下記のAPIが有効化されているか確認、有効化されていない場合は有効化します。
Google API API名、設定へのリンク
storage.googleapis.com Cloud Storage API
container.googleapis.com Kubernetes Engine API
deploymentmanager.googleapis.com Cloud Deployment Manager V2 API

 

Marketplaceからdatabricksの登録

GCPのMarketplaceより、Databricksを選択します。

 

登録を完了すると、すぐに使えるようになります。

 

「プロバイダで管理」から進み、ログイン画面に。

Sign in with Googleより、Googleアカウントでdatabricksにログインします。

Workspaceの作成

ここからはdatabricksの初期設定です

「Create workspace」にて新しくWorkspaceを作成します

  • Workspace name: 好きな名前を設定
  • Region: databricksのクラスタを起動するリージョンを設定
  • Google cloud project ID: GCPのプロジェクトIDを設定

「Save」でWorkspaceを作成します

作成したWorkspaceをopenすると、databricksの画面になります

これで利用できるようになりました。

 

Clusterを起動しなければ新たな課金は発生しないので、何時でも使えるように準備しておくと良いです

 


ブログへの記事リクエストはこちらまでどうぞ。

関連記事

  1. Databricks

    Databricks: Delta Lakeを使ってみる

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Databricks

    Databricks: Spark DataFramesをJDBCから作成する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Databricks

    databricksのnotebookを使ってみよう その1

    こんにちは。エクスチュアの松村です。…

  4. Databricks

    Databricks: Spark RDDで使う主なメソッド

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Adobe Analytics

    Azure DatabricksでAdobe AnalyticsのDatafeedを分析する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  6. Amazon Web Services

    Databricks Community Editionを使ってApache Sparkを無料で学ぶ…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. Tableauのテスト自動化を実現する Wiiisdom O…
  2. Databricksが買収した8080Labのbambool…
  3. databricksのnotebookを使ってみよう その2…
  4. databricksのnotebookを使ってみよう その1…
  5. databricks:GCPで利用を開始する
  1. Google Cloud Platform

    Server-side GTMのAppEngine設定をカスタマイズする
  2. Adobe Analytics

    Adobe AnaltyicsとGoogle Analytics の「生Webビ…
  3. Amazon Web Services

    ELB (ALB・NLB・CLB) をサクッと学ぶ
  4. Databricks

    Databricks: Spark DataFrameでユーザー定義関数を使う
  5. Google Cloud Platform

    Google Compute EngineのUbuntu VMにスワップ領域を作…
PAGE TOP