5-3. Databricks CLIとCI/CD自動化

💡 具体例:手元での典型的な操作の流れ

# 1. 構成の検証(デプロイ前に必ず実行する習慣をつける)
databricks bundle validate

# 2. dev 環境へデプロイ(databricks.yml で default: true なら --target 省略可)
databricks bundle deploy --target dev

# 3. デプロイしたジョブを実行して動作確認
databricks bundle run daily_sales_job --target dev

# 4. 検証が終わった一時環境の資産を削除
databricks bundle destroy --target dev

validate は「YAML の書き間違い・必須項目の欠落・変数解決の失敗」をデプロイ前に検出する門番です。デプロイして初めてエラーに気づくのではなく、validate を CI の最初の段に置いて早期に失敗させるのが定石です。

💡 具体例:GitHub Actions ワークフローの骨格

# .github/workflows/deploy.yml(骨格のみ)
name: deploy-bundle
on:
  pull_request:            # PR では検証のみ
  push:
    branches: [main]       # main マージで test へデプロイ

jobs:
  validate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: databricks/setup-cli@main   # Databricks CLI を導入
      - run: databricks bundle validate
        env:
          DATABRICKS_HOST: ${{ secrets.DATABRICKS_HOST }}
          DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN }}   # サービスプリンシパルのトークン

  deploy_test:
    if: github.ref == 'refs/heads/main'
    needs: validate
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: databricks/setup-cli@main
      - run: databricks bundle deploy --target test
        env:
          DATABRICKS_HOST: ${{ secrets.TEST_HOST }}
          DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN_TEST }}
      - run: databricks bundle run integration_test_job --target test
        env:
          DATABRICKS_HOST: ${{ secrets.TEST_HOST }}
          DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN_TEST }}

  deploy_prod:
    needs: deploy_test
    environment: production   # 手動承認ステップを設定した environment
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: databricks/setup-cli@main
      - run: databricks bundle deploy --target prod
        env:
          DATABRICKS_HOST: ${{ secrets.PROD_HOST }}
          DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN_PROD }}

認証情報はすべて GitHub の Secrets に置き、環境変数で CLI に渡しています(この例は PAT 方式。OAuth M2M なら DATABRICKS_CLIENT_ID / DATABRICKS_CLIENT_SECRET を渡します)。prod への昇格は environment: production の承認設定により、人間の承認を経てから実行されます。なお例では簡潔さのため databricks/setup-cli@main を参照していますが、実運用ではアクションのバージョンを固定(例:@v1 のようなタグや commit SHA へのピン留め)することが推奨されます。