Jun 12
Catch Matt Fuller's session at Databricks Data AI Summit on how Starburst extends Databricks with fast, federated, governed data access. No more copying or silos.
okt.to/sNDt9b
See you there!
#DataAI #Starburst #EnterpriseIntelligence #AIAgents #UnityCatalog
51
Jun 11
🤖 “Governed enterprise platform for agents” = Microsoft admitting raw data pipelines won’t survive production chaos. If your org can’t audit it, your AI won’t either. #Windows #Microsoft #AzureDatabricks
windowsforum.com/threads/mic…
#DataGovernance #AzureDatabricks #UnityCatalog
3
Links to the release pages:
#DeltaLake 4.3.0 RC1
github.com/delta-io/delta/is…
#UnityCatalog 0.5.0 RC1
github.com/unitycatalog/unit…
Enjoy! ❤️
373
We're a week away from #DataAISummit in SF, and the release trains hit their destinations on time 🚄⏰
1️⃣ #DeltaLake 4.3.0 RC1
2️⃣ #UnityCatalog 0.5.0 RC1
I'm not gonna be surprised if #ApacheSpark 4.2 RC gets out soon.
1
1
491
MLflowトレースのPIIマスキング、続編書きました。
Raw / Display テーブルを物理分離 Structured Streamingで増分マスキングする構成で、前回の2層方式で残っていた課題を全方位で解消します。
・PII露出ウィンドウが原理的に消える
・MLflow UIのai_mask()カラムマスク制約を回避
・ai_mask()のみで完結 (正規表現不要)
・MERGE INTOで冪等性確保
・UCのGRANT/REVOKEで自然にアクセス制御
qiita.com/taka_yayoi/items/9…
#Databricks #MLflow #LLMOps #UnityCatalog
1
8
926
🚀 Unity Catalogの新機能「クロスエンジンABAC」がベータ公開！
🔥マルチエンジン環境のガバナンスが劇的に変わります🔥
▶︎databricks.com/jp/blog/intro…
🔑 何ができるの？
• Unity Catalogでアクセス制御ポリシーを一度定義するだけで、Spark・Starburst・DuckDBなど複数エンジンに自動適用されます
• タグベースの行フィルターや列マスクが、エンジンを問わず統一的に強制されます
⚙️ どう動くの？
• Iceberg REST CatalogスキャンAPIを通じて、カタログレイヤーでポリシーが適用されます
• データがエンジンに届く前にアクセス制御が完了するため、各エンジン側での実装は不要です
• ネイティブのガバナンス機能を持たないエンジンでも機能します
✨ 何が嬉しいの？
• エンジンごとにポリシーを手動で複製・同期する運用負荷がなくなります
• エンジン別にテーブルを分ける必要もなくなります
• セキュリティチームの負担を大幅に軽減し、ポリシーの漏れや不整合リスクを解消できます
マルチエンジン時代の「ガバナンスの一元化」、ついに現実のものになりますね🔥
#Databricks #UnityCatalog #DataGovernance
1
10
1,079
May 31
🧊 Apache Iceberg が Databricks 上で大進化！
Unity Catalog が"最強のIcebergカタログ"へ🚀
👉databricks.com/jp/blog/unity…
▼ 何がGAになった？
• マネージドIceberg
• Iceberg v3
• 外部Iceberg
• Icebergクライアントへの外部共有
• クロスエンジン属性ベースアクセス制御（ベータ）
▼ Unity Catalog が選ばれる5つの理由
• オープンAPI＆資格情報ベンディングで柔軟な接続
• AWS Glue・Snowflake等を一元管理するカタログフェデレーション
• エンジンをまたいだきめ細かなガバナンス
• Delta Sharingによるゼロコピーのセキュア共有
• AIが自動でテーブルを最適化するPredictive Optimization
▼ 今後の注目ポイント
• Iceberg v4とDelta 5.0が「アダプティブメタデータツリー構造」に収束予定です
• 相互運用性と本番パフォーマンスのトレードオフが解消される方針です
• 詳細はData AI Summitで公開予定🔥
オープン＆統合ガバナンスの時代が本格到来しています。マルチエンジン環境でのデータ管理に悩む方は要チェックです！
#Databricks #ApacheIceberg #UnityCatalog
Databricks 上の Apache Iceberg の進化: Iceberg v3 GA、オープン共有、統合ガバナンス | Databricks Blog
オープン
databricks.com 1
12
2,582
May 19
Unity Catalog Open APIが大幅強化されました🎉
▶︎databricks.com/jp/blog/expan…
📌 マルチエンジン対応がベータ開始
・Apache Spark、Apache Flink、DuckDBなどの外部エンジンから、UCマネージドのDeltaテーブルを直接作成・読み書きできるようになりました
・データのコピーを1つに集約でき、ストレージコストを最大50%削減できます
・データサイロの解消と自由なエンジン選択が両立します
🔐 資格情報ベンディングがGA到達
・外部エンジンからのアクセスに短命でスコープ付きの資格情報を自動発行します
・M2M OAuthと自動リフレッシュにより、長時間パイプラインも安全に運用できます
・静的な広範権限が不要になり、企業規模でのセキュアなアクセス制御を実現します
🗂️ 非構造化データにも拡張（パブリックプレビュー）
・ボリューム内の画像・PDF・動画などにも資格情報ベンディングが適用されます
・今後は行・列レベルのABAC（属性ベースアクセス制御）も外部エンジン向けに開発中です
任意のエンジンから統一的にデータへアクセスしつつ、ガバナンスも維持できる世界が近づいています🚀
#Databricks #UnityCatalog #DeltaLake
9
1,022
May 16
🚀 Unity Catalogのデータガバナンスが大幅進化！
3つの新機能が一般提供開始されました
▶︎databricks.com/jp/blog/abac-…
🔐 ABACポリシー
タグの属性に基づいて行フィルタリング・列マスキングをデータエステート全体に自動適用できます。テーブルごとの手動設定が不要になり、ガバナンスの一貫性が飛躍的に向上します
🏷️ ガバナンスタグ
アカウントレベルで分類語彙を標準化し、組織全体で統一されたタグ管理を実現します。担当者依存のギャップを解消できます
🤖 自動データ分類
GDPR・HIPAA・PCIなど主要コンプライアンス標準に対応した分類子がPII・PHIなどの機密データを継続的にスキャン＆タグ付けします。カスタム分類子もベータ提供中です
✨ 3機能が連携することで
「検出 → タグ付け → 保護」の一連のフローが自動化され、スケーラブルな統合ガバナンスフレームワークが実現します
コンプライアンス対応の省力化を目指す方は要チェックです！
#Databricks #UnityCatalog #データガバナンス
1
9
746
May 12
[Ep 1] Open Lakehouse AI: The Catalog Layer, Interoperability & AI-Agent Governance
Learn how composable lakehouses center the catalog for metadata, versioning, and commit coordination. 👇
🔸 Interop: Iceberg REST, Unity Catalog (OSS), Spark, Delta Lake, Delta-RS, Iceberg.
🔸 Governance: credential vending, row/col filters, column masks, audits, and why “no governance was the easiest governance.”
🔸 Agents as data customers (Temporal). Fine-grained access beats blanket credentials on 24/7 workloads.
🎥 Full episode: youtube.com/watch?v=dEFAkS7v…
#OpenLakehouse #UnityCatalog @ApacheSpark @ApacheIceberg @DeltaLakeOSS
1
2
5
330
May 2
UnityCatalogはたまげた。あんだけ分散、マイクロサービス、疎結合とかやってきて、個々に独立に管理やカスタムできるポータビリティが良しとされてたのに、それら損なわないように管理レイヤー挟み込むのは最初から設計してないとキツいと思うわ。
オープンテーブルフォーマットについては他のプロダクトでもIcebergにしとけば大丈夫！ってだけ言う話がまだ多いけども、Databricks的な視点で見るとフォーマット論争みたいなのはもうなくなってて、IcebergでもDeltaでもマネージドIcebergもUniformもあるし、Icebergです！オープン！みたいなのをシンプルに推す流れは当たり前でもうそこだけ推すのは違うんじゃね、て感じがある
それより本当に重要なのはカタログで、今はここがオープンであることが非常に大事で、Unity Catalogはここが各所とつながりつつあるし、ちゃんとオープンにもできてる所が非常にいい部分だと思っている
Unity Catalogは最初からガバナンス アクセス制御 リネージが一体になっていて更にドンドン進化しているのは見ていて良いなと思うんだな
1
26
5,863
Apr 28
Is your real-time data AI-ready? 🤖⚡️
Join experts from #StreamNative and #Databricks on May 14th to bridge the gap between real-time streams and Unity Catalog managed Delta tables.
Learn how to:
✅ Use Catalog Commits for transactional writes
✅ Ingest Kafka & Pulsar topics directly into managed tables
✅ Build an AI-ready, unified lakehouse architecture
📅 May 14, 2026 | 9:00 AM PST
🔗Register now: hubs.ly/Q04dKvnq0
#DataStreaming #Databricks #UnityCatalog #Lakehouse #Kafka #Pulsar #DataGovernance
1
2
74
#ApacheSpark #DeclarativePipelines with #DeltaLake and #UnityCatalog (all OSS and released already! 🔥)
1
1
5
422
Apr 9
2018年ごろのDatabricksには、UnityCatalogもSQLWarehouseもなく、DWHとしての機能もなかった時代で、Treasure Data位しか固定料金で使えるのがなく、ETLとDWHの棲み分けが出来ていたんですよね。 #redbricks
3
910
まずはデリッシュキッチンを提供しているeveryの吉田さんの登壇です📝
データ基盤をTreasureData DatabricksからDatabricksへ統一するがデータ。
集めたデータを全てUnityCatalog化したとのこと。
#redbricks
1
4
597
MLflowトレースをUnity CatalogにOTEL形式で保存してSQLで分析する方法をまとめました。最新API(MLflow 3.11.0)でのセットアップ、LLM/RAGパイプラインのトレース記録、SQLによる直接クエリまでを解説しています。
qiita.com/taka_yayoi/items/1…
#Databricks #MLflow #UnityCatalog #OpenTelemetry #GenAI #LLMOps
8
718
【新機能】SAP Business Data CloudのシェアをUnity Catalogにマウントする際、テーブル/カラムコメント・主キー・外部キー・ガバナンスタグが自動同期されるようになりました🎉
▶︎docs.databricks.com/aws/ja/d…
メタデータの手動管理が不要になり、カタログ整備の工数を大幅削減。さらにSAPのガバナンスタグをABACポリシーに活用し、属性ベースのきめ細かなアクセス制御も実現できます🌸
#Databricks #UnityCatalog #SAP
7
766
📣 Unity Catalog Business Semanticsが一般提供開始＆オープンソース化！
▶︎databricks.com/jp/blog/redef…
✅ 何が変わる？
メトリクス・ディメンション・ルールを一度定義するだけで、ダッシュボード／SQL／ノートブック／AIエージェントすべてが同じ定義を共有
✅ なぜ重要？
→ KPIの"人によって数字が違う"問題を根本解決
→ Apache Sparkでオープンソース化、ベンダーロックインなし
→ Tableau・Sigma・ThoughtSpotなど主要BIツールと統合
✅ 注目の新機能「Metric Views」
・セマンティックメタデータを中央管理
・マテリアライゼーションでクエリ最大10倍高速化
・Genie Codeでエージェントアシスト作成も可能
データの"意味"をオープンに一元管理する時代へ🚀
#Databricks #UnityCatalog
5
24
1,663
Apr 6
𝗗𝗲𝗹𝘁𝗮 𝗟𝗮𝗸𝗲 𝟰.𝟭.𝟬 introduces significant new features, performance improvements, and critical platform upgrades, including full support for Apache Spark 4.1.0 and enhanced storage management in Unity Catalog. 🚀
What's inside Delta Lake 4.1.0?
🔹 𝗖𝗮𝘁𝗮𝗹𝗼𝗴-𝗠𝗮𝗻𝗮𝗴𝗲𝗱 𝗧𝗮𝗯𝗹𝗲 𝗘𝗻𝗵𝗮𝗻𝗰𝗲𝗺𝗲𝗻𝘁𝘀
🔹 𝗔𝗽𝗮𝗰𝗵𝗲 𝗦𝗽𝗮𝗿𝗸 𝟰.𝟭.𝟬 𝗦𝘂𝗽𝗽𝗼𝗿𝘁
🔹 𝗦𝗲𝗿𝘃𝗲𝗿-𝗦𝗶𝗱𝗲 𝗣𝗹𝗮𝗻𝗻𝗶𝗻𝗴 (𝗣𝗿𝗲𝘃𝗶𝗲𝘄)
🔹 𝗔𝗪𝗦 𝗦𝘁𝗼𝗿𝗮𝗴𝗲 𝗖𝗿𝗲𝗱𝗲𝗻𝘁𝗶𝗮𝗹𝘀 & 𝗘𝘅𝘁𝗲𝗿𝗻𝗮𝗹 𝗟𝗼𝗰𝗮𝘁𝗶𝗼𝗻𝘀
🔹 𝗔𝘁𝗼𝗺𝗶𝗰 𝗖𝗧𝗔𝗦 𝗳𝗼𝗿 𝗨𝗖 𝗧𝗮𝗯𝗹𝗲𝘀
🔹 𝗖𝗼𝗻𝗳𝗹𝗶𝗰𝘁-𝗙𝗿𝗲𝗲 𝗙𝗲𝗮𝘁𝘂𝗿𝗲 𝗘𝗻𝗮𝗯𝗹𝗲𝗺𝗲𝗻𝘁
Take a closer look at what’s new 👉 delta.io/blog/2026-03-01-del…
#DeltaLake #OpenSource #ApacheSpark #UnityCatalog
1
12
1,015
Adaptiv& @databricks co-hosted a Wellington bootcamp, From Data to Decisions, on 17th March. With the right metadata, governance&setup, going from raw data to dashboards and AI-querying becomes more accessible. Which city we should host the next bootcamp at? #Genie #UnityCatalog
1
2
48