上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQLの内部の詳細とそれらを応用したパフォーマンスチューニングについてお話します。 Databricksでソフトウェアエンジニアとして働いています。

上新卓也氏：これでLogical Planにキャッシュを使うプランが含まれてきたので、その次の処理としてはOptimizerですね。 これは今までプランの書き換えなどはやってこなかったんですが、ここからプランをガシガシと書き換えていってより効率のよい処理が ...

Apach Sparkはより高速にビッグデータを処理するための分散処理フレームワークです。 SQLインターフェースや機械学習などの機能が標準で組み込まれ、バッチ処理だけでなくストリーミング処理や対話的な処理にも対応できるため、さまざまなシーンのデータ ...

Developers Summit 2026・Dev x PM Day 講演資料まとめ Developers Boost 2025 講演資料まとめ Developers X Summit 2025 講演資料まとめ Developers Summit 2025 FUKUOKA 講演関連資料まとめ Developers Summit 2025 KANSAI 講演関連資料まとめ Developers ...

Sparkの2016年は、 1月4日にバージョン1. 6.0のリリースからスタートしましたが、 なんといっても今年の目玉はバージョン2. 0.0のリリースでした。2016年7月26日にリリースされ、 この開発には2,000以上のパッチが投稿され、 世界中から280人もの開発貢献者の参画 ...

Developers Summit 2026・Dev x PM Day 講演資料まとめ Developers Boost 2025 講演資料まとめ Developers X Summit 2025 講演資料まとめ Developers Summit 2025 FUKUOKA 講演関連資料まとめ Developers Summit 2025 KANSAI 講演関連資料まとめ Developers ...

Overview: Modern big data tools like Apache Spark and Apache Kafka enable fast processing and real-time streaming for smarter ...

Apache Gluten is an open source middle-layer plugin designed to dramatically accelerate Apache Spark™ SQL and DataFrame workloads. It acts as a bridge, offloading compute-intensive tasks from the JV ...

WILMINGTON, DE — The Apache Software Foundation announced that two open-source projects, Apache Gluten and Apache Polaris, have been promoted to Top-Level Project status within the organization. The ...