目次 › 第1章 › 1-1

第1章 Databricks Intelligence Platform / 想定学習時間:30〜40分 / 最終確認:2026年8月

1-1. Data Intelligence Platformの全体像(アーキテクチャ・Delta Lake・Unity Catalog)

1. レイクハウスアーキテクチャ:データレイクとDWHの「いいとこ取り」

Databricks の土台にあるのはレイクハウス(Lakehouse)という設計思想です。従来、企業のデータ基盤は次の2つに分かれており、それぞれに強みと弱みがありました。

レイクハウスは、クラウドオブジェクトストレージ上のデータレイクの柔軟性・低コストを保ったまま、その上に Delta Lake というストレージ層を重ねることで、DWH が持っていた信頼性(ACIDトランザクション・スキーマ管理)を実現します。1つのプラットフォームで BI・SQL 分析から ETL、機械学習・AI までを扱えるため、「データレイクと DWH を別々に運用して同じデータを二重管理する」必要がなくなります。Databricks はこのレイクハウスに AI によるインテリジェンス層を加えたものを Data Intelligence Platform と呼んでいます。

2. コントロールプレーンとコンピュートプレーンの分離

Databricks のアーキテクチャを理解するうえで最初に押さえるべきなのが、コントロールプレーン(control plane)とコンピュートプレーン(compute plane)という2層の分離です。

ポイントは、データそのものと、それを処理する計算資源は基本的に顧客側(またはサーバーレス環境)にあり、Databricks が管理するのはあくまで「管理・調整の仕組み」だという点です。ノートブックのコードや設定情報はコントロールプレーンに保存されますが、テーブルデータの実体は顧客のクラウドストレージ(S3 / ADLS / GCS など)に置かれます。

3. 中核コンポーネントの役割分担

Data Intelligence Platform は複数のコンポーネントの組み合わせでできています。データエンジニアとしてまず押さえるべきは次の4つです。

Lakeflow は 2026 年時点の名称で、旧名称(Delta Live Tables、Workflows/Jobs)で覚えている資料も多く残っています。試験対策としては「Lakeflow Spark Declarative Pipelines = 旧 Delta Live Tables」「Lakeflow Jobs = 旧 Workflows/Jobs」という対応関係を押さえておくと、どちらの名称で出題されても対応できます。

4. Unity Catalog:3レベル名前空間とガバナンス対象

Unity Catalog(UC)は、プラットフォーム全体のガバナンス(誰が・何に・どうアクセスできるか)を一元管理する層です。UC ではすべてのオブジェクトを3レベルの名前空間で識別します。

-- catalog.schema.object の3階層で完全修飾する
SELECT * FROM main.sales.orders;

--   main   = カタログ(最上位の入れ物)
--   sales  = スキーマ(データベースとも呼ばれる)
--   orders = オブジェクト(ここではテーブル)

階層の全体像は次のとおりです。

UC が管理するのはテーブルだけではありません。ビュー・Volume・関数・機械学習モデルまで同じ権限モデルと監査の仕組みで扱えることが、「ガバナンスの一元化」と呼ばれる理由です。CSV や画像などの生ファイルも Volume として UC の管理下に置けます。

-- カタログとスキーマを作成する
CREATE CATALOG IF NOT EXISTS dev;
CREATE SCHEMA IF NOT EXISTS dev.bronze;

-- 既定のカタログ・スキーマを設定すると、以降は短い名前で書ける
USE CATALOG dev;
USE SCHEMA bronze;
CREATE TABLE raw_orders (order_id BIGINT, amount DOUBLE);

-- 完全修飾名ならどこからでも同じテーブルを一意に参照できる
SELECT count(*) FROM dev.bronze.raw_orders;

5. プラットフォーム全体のデータの流れ

ここまでのコンポーネントを、データが流れる順に1枚の図にまとめます。データエンジニアの仕事は、この流れ全体を設計・実装・運用することです。

ブロンズ→シルバー→ゴールドと段階的にデータ品質を高めていく設計はメダリオンアーキテクチャと呼ばれ、第3章で詳しく学びます。ここでは「取り込み → Delta Lake 上で段階的に精製 → BI/AI で消費、全体を Unity Catalog が統制」という大きな絵を掴んでおけば十分です。

練習問題