Databricks

databricks:GCPで利用を開始する

 

databricksがGCPに対応し、Marketplaceから簡単に使い始められるようになりました。

公式ドキュメントDatabricks documentation | Databricks on Google Cloud を参考に、利用開始までの手順を紹介します。

事前準備

  • GCPの請求アカウントが必要です。
  • クオータの設定が必要です。下記の値がデフォルトから変更が必要となるため、IAMの”割り当て”より割り当てを実施します。
クオータ名 最低限の推奨値 スケーラビリティが求められる際の推奨値
compute.googleapis.com/cpus 60 2500
compute.googleapis.com/n2_cpus 50 300
compute.googleapis.com/ssd_total_storage 7.5TB 50TB

  • プロジェクトで必要なAPIを有効にします。「APIとサービス」より下記のAPIが有効化されているか確認、有効化されていない場合は有効化します。
Google API API名、設定へのリンク
storage.googleapis.com Cloud Storage API
container.googleapis.com Kubernetes Engine API
deploymentmanager.googleapis.com Cloud Deployment Manager V2 API

 

Marketplaceからdatabricksの登録

GCPのMarketplaceより、Databricksを選択します。

 

登録を完了すると、すぐに使えるようになります。

 

「プロバイダで管理」から進み、ログイン画面に。

Sign in with Googleより、Googleアカウントでdatabricksにログインします。

Workspaceの作成

ここからはdatabricksの初期設定です

「Create workspace」にて新しくWorkspaceを作成します

  • Workspace name: 好きな名前を設定
  • Region: databricksのクラスタを起動するリージョンを設定
  • Google cloud project ID: GCPのプロジェクトIDを設定

「Save」でWorkspaceを作成します

作成したWorkspaceをopenすると、databricksの画面になります

これで利用できるようになりました。

 

Clusterを起動しなければ新たな課金は発生しないので、何時でも使えるように準備しておくと良いです

 


ブログへの記事リクエストはこちらまでどうぞ。

関連記事

  1. Amazon Web Services

    Databricks Community Editionを使ってApache Sparkを無料で学ぶ…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Databricks

    ScalaでDatabricksのDataFrameを扱う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Databricks

    Databricks: Spark RDDで使う主なメソッド

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Databricks

    Databricks: Spark DataFrameでユーザー定義関数を使う

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Adobe Analytics

    Azure DatabricksでAdobe AnalyticsのDatafeedを分析する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  6. Databricks

    Databricksを始める前に覚えておきたいScalaプログラミングの基本

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. Adobe Analyticsのモバイルアプリが意外と便利
  2. Sansan:メール署名取り込み機能を設定してみた
  3. System Managerを利用したVPC内Redshif…
  4. Amazon Redshift ビルド168まとめ
  5. Tableauのテスト自動化を実現する Wiiisdom O…
  1. Amazon Web Services

    セキュリティグループ vs ネットワークACL
  2. ObservePoint

    ObservePointでサイト内のタグが全部まるっとお見通しだ!
  3. Google BigQuery

    Google Apps Scriptを使ってスプレッドシートからBigQuery…
  4. Adobe Analytics

    Metabase: カスタムマップで日本地図を追加する
  5. Google Cloud Platform

    Looker: LookerbotでSlackにグラフ画像をスケジュール投稿する…
PAGE TOP