JAPAN AI株式会社(本社:東京都新宿区、代表取締役社長:工藤 智昭、以下JAPAN AI)は、 自律型AIエージェント「JAPAN AI AGENT」において、「タスクスケジュール機能」(以下、タスクスケジューラー)を実装しました。 「タスクスケジューラー」の概要 ...
今回のテーマは、 Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、 どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、 デフォルトの設定とFair ...
前回の記事では、 Fair Schedulerによる複数ジョブの同時実行についてご紹介しました。今回は、 Capacity Schedulerを使った場合について、 複数ジョブの同時実行時の挙動を見てみましょう。 HadoopのSchedulerとは複数のジョブを実行する際に、 slot数の割り当てを ...