Databricksは、カルフォルニア州立大学バークレー校において、CEO兼共同設立者のアリ・ゴディシ(Ali Ghodsi)氏をはじめ、データとAIなどを研究するOSSの分散処理フレームワーク「Apache Spark」のクリエイター20人により、2013年にサンフランシスコで創業した。

1. データスキュー対策の基本 ─ SaltingとCo-partitioningの考え方 Spark SQLのボトルネックの一つがデータスキュー（データ偏り）です。 特定のキーにデータが集中すると、あるExecutorだけが重い処理を担当し、全体の処理が遅延します。 この問題を解消する代表 ...

近年、生成AIがビジネス現場に急速に浸透しています。文章作成や画像生成だけでなく、データ分析やSQLの自動生成といった領域にもAIの力が活用されはじめました。その代表的な機能として注目を集めているのが Databricks Assistant です。Databricksはデータ ...