Databricks

databricks:GCPで利用を開始する

 

databricksがGCPに対応し、Marketplaceから簡単に使い始められるようになりました。

公式ドキュメントDatabricks documentation | Databricks on Google Cloud を参考に、利用開始までの手順を紹介します。

事前準備

  • GCPの請求アカウントが必要です。
  • クオータの設定が必要です。下記の値がデフォルトから変更が必要となるため、IAMの”割り当て”より割り当てを実施します。
クオータ名 最低限の推奨値 スケーラビリティが求められる際の推奨値
compute.googleapis.com/cpus 60 2500
compute.googleapis.com/n2_cpus 50 300
compute.googleapis.com/ssd_total_storage 7.5TB 50TB

  • プロジェクトで必要なAPIを有効にします。「APIとサービス」より下記のAPIが有効化されているか確認、有効化されていない場合は有効化します。
Google API API名、設定へのリンク
storage.googleapis.com Cloud Storage API
container.googleapis.com Kubernetes Engine API
deploymentmanager.googleapis.com Cloud Deployment Manager V2 API

 

Marketplaceからdatabricksの登録

GCPのMarketplaceより、Databricksを選択します。

 

登録を完了すると、すぐに使えるようになります。

 

「プロバイダで管理」から進み、ログイン画面に。

Sign in with Googleより、Googleアカウントでdatabricksにログインします。

Workspaceの作成

ここからはdatabricksの初期設定です

「Create workspace」にて新しくWorkspaceを作成します

  • Workspace name: 好きな名前を設定
  • Region: databricksのクラスタを起動するリージョンを設定
  • Google cloud project ID: GCPのプロジェクトIDを設定

「Save」でWorkspaceを作成します

作成したWorkspaceをopenすると、databricksの画面になります

これで利用できるようになりました。

 

Clusterを起動しなければ新たな課金は発生しないので、何時でも使えるように準備しておくと良いです

 


ブログへの記事リクエストはこちらまでどうぞ。

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

関連記事

  1. Databricks

    Databricks: Delta Lakeを使ってみる

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Databricks

    Databricks: Spark DataFrameでピボットグラフを作る

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Databricks

    ScalaでDatabricksのDataFrameを扱う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Databricks

    databricksのnotebookを使ってみよう その1

    こんにちは。エクスチュアの松村です。…

  5. Adobe Analytics

    Azure DatabricksでAdobe AnalyticsのDatafeedを分析する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  6. Amazon Web Services

    Databricks Community Editionを使ってApache Sparkを無料で学ぶ…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. GoogleスプレッドシートのデータをGASで整理する【se…
  2. GoogleスプレッドシートのデータをGASで整理する【ge…
  3. GASを利用してWebスクレイピングをやってみよう②
  4. GASを利用してWebスクレイピングをやってみよう
  5. Adobe Analyticsを知る。
  1. Google Cloud Platform

    GoogleNext 2019レポート:初日目
  2. セッションリプレイ

    【Tips】セッションリプレイについて
  3. ブログ

    ベイズとR
  4. ブログ

    ①DMPについて
  5. Adobe Analytics

    出口とは-Adobe Analyticsの指標説明
PAGE TOP