Databricks

databricks:GCPで利用を開始する

 

databricksがGCPに対応し、Marketplaceから簡単に使い始められるようになりました。

公式ドキュメントDatabricks documentation | Databricks on Google Cloud を参考に、利用開始までの手順を紹介します。

事前準備

  • GCPの請求アカウントが必要です。
  • クオータの設定が必要です。下記の値がデフォルトから変更が必要となるため、IAMの”割り当て”より割り当てを実施します。
クオータ名 最低限の推奨値 スケーラビリティが求められる際の推奨値
compute.googleapis.com/cpus 60 2500
compute.googleapis.com/n2_cpus 50 300
compute.googleapis.com/ssd_total_storage 7.5TB 50TB

  • プロジェクトで必要なAPIを有効にします。「APIとサービス」より下記のAPIが有効化されているか確認、有効化されていない場合は有効化します。
Google API API名、設定へのリンク
storage.googleapis.com Cloud Storage API
container.googleapis.com Kubernetes Engine API
deploymentmanager.googleapis.com Cloud Deployment Manager V2 API

 

Marketplaceからdatabricksの登録

GCPのMarketplaceより、Databricksを選択します。

 

登録を完了すると、すぐに使えるようになります。

 

「プロバイダで管理」から進み、ログイン画面に。

Sign in with Googleより、Googleアカウントでdatabricksにログインします。

Workspaceの作成

ここからはdatabricksの初期設定です

「Create workspace」にて新しくWorkspaceを作成します

  • Workspace name: 好きな名前を設定
  • Region: databricksのクラスタを起動するリージョンを設定
  • Google cloud project ID: GCPのプロジェクトIDを設定

「Save」でWorkspaceを作成します

作成したWorkspaceをopenすると、databricksの画面になります

これで利用できるようになりました。

 

Clusterを起動しなければ新たな課金は発生しないので、何時でも使えるように準備しておくと良いです

 


ブログへの記事リクエストはこちらまでどうぞ。

ピックアップ記事

  1. 最速で理解したい人のためのIT用語集

関連記事

  1. Adobe Analytics

    Azure DatabricksでAdobe AnalyticsのDatafeedを分析する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  2. Databricks

    Databricks: Spark DataFramesをJDBCから作成する

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  3. Databricks

    Databricks: Spark DataFrameでピボットグラフを作る

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  4. Databricks

    Databricksを始める前に覚えておきたいScalaプログラミングの基本

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  5. Amazon Web Services

    Databricks Community Editionを使ってApache Sparkを無料で学ぶ…

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

  6. Databricks

    Databricks: Spark RDDで使う主なメソッド

    こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。…

最近の記事

  1. LangChainって何?: 次世代AIアプリケーション構築…
  2. 回帰分析はかく語りき Part1 単回帰分析
  3. GitHub ActionsでGCEへのデプロイを楽にしてみ…
  4. Snowflake の Copilot が優秀すぎる件につい…
  5. Snowflake の新しいData Clean Roomの…
  1. ヒートマップ

    ユーザビリティの検証で気を付けたいこと、やってはいけないこと③
  2. Google BigQuery

    Tableau×BigQueryをコスパ良く使う方法
  3. ヒートマップ

    Mouseflowの新機能:ライブヒートマップで動的なヒートマップ分析が可能に!…
  4. ブログ

    「Power BI」を用いたダッシュボードの作成!②
  5. Adobe Analytics

    Adobe Analytics: DWHレポートの日付列をBigQueryのDa…
PAGE TOP