目次 › 第1章 › 1-3

第1章 Databricks Intelligence Platform / 想定学習時間:30〜40分 / 最終確認:2026年8月

1-3. コンピュートの選択(All-purpose/Jobクラスタ・SQLウェアハウス・サーバーレスとコストモデル)

1. コンピュートの全体像

1-1 で見たとおり、実際のデータ処理はコンピュートプレーン上の計算資源で行われます。Databricks には用途別に複数のコンピュートがあり、「どのワークロードに、どのコンピュートを割り当てるか」はコストと使い勝手を左右するデータエンジニアの基本判断です。大きく分けると次の3系統です。

2. All-purpose クラスタと Job クラスタ

最初に押さえるべき対比が、この2種類のクラスタです。同じ Spark クラスタですが、ライフサイクル(起動と終了のされ方)とコストが異なります。

3. SQL ウェアハウスとサーバーレス

3-1. SQL ウェアハウス:SQL 分析・BI の専用コンピュート

SQL ウェアハウスは、Databricks SQL のクエリ・ダッシュボード・BI ツール接続(JDBC/ODBC)のために最適化されたコンピュートです。ノートブックの Python コードを動かす場所ではなく、SQL ワークロード専用である点がクラスタとの違いです。タイプは3種類あります。

SQL ウェアハウスは、複数ユーザーからの多数の同時クエリをさばくよう設計されています。これは旧世代の「高同時実行(high-concurrency)クラスタ」が担っていた役割の後継にあたる考え方で、古い教材や過去の出題では high-concurrency クラスタという名称が登場することもあります。「多数のアナリストが同時に SQL を投げる用途向けのコンピュート」という概念として押さえておきましょう。

3-2. サーバーレスコンピュート:起動高速・管理不要

サーバーレスコンピュートは、計算資源を Databricks 側が事前にプールしておき、必要な瞬間に割り当てる方式です。SQL ウェアハウスだけでなく、ノートブック・ジョブ・パイプラインでも利用できます。特徴は次の3点です。

• 起動が高速:クラスタのように仮想マシンの起動を待つ必要がなく、数秒〜十数秒で使い始められる
• 管理不要:インスタンスタイプやノード数、Spark 設定のチューニングを自分で行う必要がない
• 自動スケーリング:負荷に応じて Databricks 側が自動で資源を増減し、使った分だけ課金される

4. コストモデル:DBU・オートスケーリング・自動終了・Photon

Databricks の課金は、クラウドインフラ費用(クラシック構成の場合)に加えて、DBU(Databricks Unit)という処理能力の単位に基づきます。コストを左右する主要な仕組みを整理します。

# クラスタ定義(REST API / Terraform 等で指定する項目のイメージ)
{
  "cluster_name": "dev-shared-cluster",
  "autotermination_minutes": 30,      # 30分アイドルで自動終了
  "autoscale": {
    "min_workers": 2,                 # 閑散時は2ノードまで縮小
    "max_workers": 8                  # ピーク時のみ8ノードへ拡大
  },
  "runtime_engine": "PHOTON"          # Photon で処理時間を短縮
}

5. ワークロード別の使い分け(判断表)

ここまでの内容を「シナリオ → 最適コンピュート」の判断表にまとめます。試験の選択問題はほぼこの表の形で出題されると考えてよい範囲です。

迷ったときの判断の流れをフローチャートにすると次のようになります。

練習問題