この記事は Apache Drill Advent Calendar 2015 の16日目の記事です。
前回の記事からの続きです。
前回は HBase テーブルを対象としたクエリに WHERE 句で条件を加えることで、HBase 側で Pushdown を行う実行プランが作成されている様子を確認しました。では、もう少し複雑な条件ではどうでしょうか。2つの行キーの比較を OR で結んだ条件にしてみます。下にクエリとその実行プランの HBaseScanSpec のパラメータを示します。
SELECT row_key, cf.c1
FROM hbase.`table1`
WHERE row_key = 'xxx' OR row_key = 'yyy';
startRow=xxx, stopRow=yyy\x00, filter=FilterList OR (2/2): [ RowFilter (EQUAL, xxx), RowFilter (EQUAL, yyy) ]
スキャンの開始行キーは「xxx」、終了行キーは「yyy\x00」（終了行キー自体はスキャン範囲には含まれないので、末尾に \x00 をつけて yyy も範囲に含めるようにしている）となり、範囲スキャンを行うようにした上で、RowFilter で条件の合う行キーのチェックをしています。複数の RowFilter は FilterList により OR で結合する形になっています。それなりに効率的ですね。
次に、LIKE 演算子で条件を指定してみましょう。
SELECT row_key, cf.c1
FROM hbase.`table1`
WHERE row_key LIKE 'xxx%';
startRow=xxx, stopRow=xxy, filter=RowFilter (EQUAL, ^\x5CQxxx\x5CE.*$)
行キーに対する条件が前方一致であるため、範囲スキャンが有効になっていることがわかります。これに加え、LIKE に対応する正規表現が RowFilter のパターン文字列に指定されています。正規表現のマッチングですので、HBase API では RegexStringComparator が使われているはずです。
では、次のような LIKE の後方一致ではどうでしょうか。
SELECT row_key, cf.c1
FROM hbase.`table1`
WHERE row_key LIKE '%xxx';
startRow=, stopRow=, filter=RowFilter (EQUAL, ^.*\x5CQxxx\x5CE$)
後方一致では行キーの範囲を絞り込めず、フルスキャンになることがわかります。
これまでの例では、暗黙的に行キーやカラムの値が UTF-8 文字列であることを想定してクエリを記述していましたが、HBase に格納した値が数値型やタイムスタンプ型だった場合は、クエリの書き方に少し注意が必要です。もし行キーの値がビッグエンディアンで格納されていれば、数値や日付の大きさ順でソートされることになるため、範囲フィルタの Pushdown を有効に利用できる可能性があります。
SELECT row_key, cf.c1 FROM hbase.`table1` WHERE CONVERT_FROM(BYTE_SUBSTR(row_key, 1, 8), 'UINT8_BE') BETWEEN CAST(100 AS BIGINT) AND CAST(200 AS BIGINT);
startRow=\x00\x00\x00\x00\x00\x00\x00d, stopRow=\x00\x00\x00\x00\x00\x00\x00\xC9, filter=null
上の例では WHERE 句の中で、まず row_key に対し BYTE_SUBSTR 関数で格納されている数値のバイト長（ここでは8バイト）分を先頭から取り出しています。さらにそれを CONVERT_FROM 関数で符号なしのビッグエンディアン（ここでは UNIT8_BE）のエンコーディングで数値型に変換しています。そして同じバイト長の数値型（ここでは BIGINT 型）にキャストした数値と比較します。これらの条件をすべて満たすことにより、範囲スキャンの Pushdown が有効になります。
最後に、Drill は [HBASE-8201] OrderedBytes: an ordered encoding strategy で HBase に追加された、OrderedBytes と呼ばれるエンコーディング手法に対応しています。このエンコーディングでは、データがバイト列として格納されるときにそのデータ型のソート順を保持することができるため、Pushdown に活用することが可能です。
SELECT row_key, cf.c1 FROM hbase.`table1` WHERE CONVERT_FROM(row_key, 'INT_OB') BETWEEN CAST(-32 AS INT) AND CAST(59 AS INT);
startRow=+\x7F\xFF\xFF\xE0, stopRow=+\x80\x00\x00;\x00, filter=FilterList AND (2/2): [ RowFilter (GREATER_OR_EQUAL, +\x7F\xFF\xFF\xE0), RowFilter (LESS_OR_EQUAL, +\x80\x00\x00;) ]
HBase にデータが OrderedBytes で格納されている場合、上のように数値を「INT_OB」エンコーディングで変換して比較することで、範囲スキャンが有効になっていることがわかります。
以上、様々な Pushdown による最適化を紹介しましたが、将来的にはこれ以上のテクニックが駆使されてさらに最適化が進むことが予想されます。例えば、HBase の行キーが複合キー（Intelligent Key）である場合の扱いにはまだ改良の余地があります。今後の性能向上を期待しましょう。
