この記事は Apache Drill Advent Calendar 2015 の11日目の記事です。
Drill クラスタを構築して、ある程度規模の大きい SQL クエリ基盤を運用する場合、普通は複数のユーザーや複数のアプリケーションで Drill クラスタを共有する使い方をすると思います。その時に課題となるのは、個々のクエリが使うリソースをどのように制御できるかというところです。本記事では、Drill が備えるリソース制御のオプションについて見てみましょう。
まず同時に実行可能なクエリの上限について。デフォルトでは同時に実行可能なクエリの数は無制限ですが、むやみに同時実行数を増やしていくとリソースの競合が激しくなり、全体的なパフォーマンスが低下します。これを防ぐため、Drill ではクエリの「キュー」を用意し、設定した上限までのクエリをキューから取り出して同時実行するしくみがあります。
Enabling Query Queuing
https://drill.apache.org/docs/enabling-query-queuing/
exec.queue.enable プロパティを true にすると、キューが有効になります。Drill では、「large」キューと「small」キューの2つのキューが用意され、それぞれ個別に同時実行数を設定することが可能です。投入したクエリがどちらのキューに入るかは、推定される処理件数のしきい値 exec.queue.threshold プロパティによって決まります。
| プロパティ | 説明 | デフォルト値 |
|---|---|---|
| exec.queue.enable | キューを有効にするかどうか | false |
| exec.queue.large | large キューに入ったクエリの同時実行数 | 10 |
| exec.queue.small | small キューに入ったクエリの同時実行数 | 100 |
| exec.queue.threshold | クエリの推定される処理件数がこの値より大きければ large キュー、小さければ small キューに投入される | 30000000 |
| exec.queue.timeout_millis | クエリがキューに入ってからこの時間が経過すると失敗する（ミリ秒） | 300000 |
また、個々のクエリ実行の並列度についても調整可能なオプションがいくつかあります。
Configuring Resources for a Shared Drillbit: Configuring Parallelization
https://drill.apache.org/docs/configuring-resources-for-a-shared-drillbit/#configuring-parallelization
プロパティ planner.width.max_per_node はクエリあたりの1ノード（クラスタを構成するマシン1台）で処理できる並列度の最大値です。例えばフィルタリングの処理は、マルチコアマシンでは複数スレッドを使って並列に実行することで効率的に処理を行えます。この設定値はクエリあたりの上限ですが、これとは別に、すべてのクエリの合計の1ノードあたりの並列度は「ノード上のアクティブな Drillbit の数 * ノードのコア数 (Hyper-threadを考慮) * 0.7」を超えることはありません。
プロパティ planner.width.max_per_query はクエリあたりの処理の並列度の最大値です。これはクラスタ全体での並列度になります。実際には、(planner.width.max_per_node * ノード数) と planner.width.max_per_query のどちらか小さい値が、クエリあたりの最大並列度になります。
| プロパティ | 説明 | デフォルト値 |
|---|---|---|
| planner.width.max_per_node | クエリあたりの1ノードで処理できる並列度の最大値 | 3 |
| planner.width.max_per_query | クエリあたりの処理の並列度の最大値 | 1000 |
さらに、planner.memory.max_query_memory_per_node プロパティでノード単位で各クエリが利用できるメモリの最大値を指定することが可能です。
Configuring Drill Memory
https://drill.apache.org/docs/configuring-drill-memory/
Drill はクエリプランの実行に必要なメモリが足りないことが推定される場合、少ないメモリでも実行可能なプランに作り直す場合があります。また、ウィンドウ関数のような外部ソートのための大量のメモリを必要とするクエリでエラーが起きるような場合、この設定値を大きくすることでエラーを回避することができる可能性があります。
| プロパティ | 説明 | デフォルト値 |
|---|---|---|
| planner.memory.max_query_memory_per_node | ノード単位で各クエリが利用できるメモリの最大値（Byte） | 2147483648 |
上記のプロパティはシステム全体でもセッション単位でも指定できます。例えばシステム全体で指定する場合は
0: jdbc:drill:zk=local> ALTER SYSTEM SET `exec.queue.enable` = true;
セッション単位で指定する場合は
0: jdbc:drill:zk=local> ALTER SESSION SET `exec.queue.enable` = true;
を実行します。
