HBase scan命令详解

hbase中scan命令是我们经常使用到的，而filter的作用尤其强大。这里简要的介绍下scan下filter命令的使用.

插入scan命令需要的数据

这里模拟了部分微博评论的数据,然后使用代码插入数据到hbase,代码就不列出来了比较简单。

public class Comment {
    //1-->普通文章，2--->热点文章
    Integer articleType;
    //文章id
    String articleId;
    String userId;
    long timestamp;
    //comment content,暂时只考虑文本
    String commentContent;
}

hbase的表名称为zy_comment,列簇info下有articleType以及commentInfo两个列。commentInfo的value为上面Comment类的json字符串,插入的数据如下所示

HBase数据顺序

HBase是三维有序存储的，是指rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度是依照ASCII码表排序的。（比如A排在a前面）

先rowkey升序排序，
rowkey相同则column key升序排序
rowkey、column key相同则timestamp降序排序

支持的Filter

scan命令我们经常会大量使用Filter,hbase shell提供的filter都可以在hbase client包中找到对应的类，它们都是Filter的子类，很多命令都是通过filter来进行实现的。

使用show_filters命令查看shell中定义了哪些filter常量,如果想要使用shell中未定义的常量,在使用的时候必须手动import filter的全路径。

scan的用法

使用 help 'scan' 命令可以查看scan的语法以及用法,关于scan命令中filter的使用规则如下:

1	scan 'tableName',{FILTER=>"FilterName(param1,param2,...,paramN)"}

{}中的语法是ruby的map的语法，FILTER必须大写,filter的参数是根据构造方法来的，也就是相当于java中的new Filter(‘param1’,’param2’)等，这里只是省略了new参数而已。
当然同样可以使用ruby中new对象的方式，只是那样就必须使用全限定名称。后面会举一个全限定名称的例子。

在使用Filter的过程中部分filter会用到比较器(CompareOperator.java)以及运算比较符(ByteArrayComparable.java)

@Public
public enum CompareOperator {
    LESS,   // <
    LESS_OR_EQUAL,    // <=
    EQUAL,    // =
    NOT_EQUAL, // <>
    GREATER_OR_EQUAL, // >=
    GREATER, // >
    NO_OP; // 没有任何操作

    private CompareOperator() {
    }
}

比较器主要有以下几种:

BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[]),比如:binary:\x00\x00\x02
BinaryPrefixComparator 跟前面相同，只是比较左端的数据是否相同,比如:binaryprefix:\x00\x00
NullComparator 判断给定的是否为空,不常用
BitComparator 按位比较 a BitwiseOp class 做异或，与，并操作，不常用
RegexStringComparator 提供一个正则的比较器，仅支持 EQUAL 和非EQUAL,比如:regexstring:ab*add
SubstringComparator 判断提供的子串是否出现在table的value中。比如：substring:great

scan例子

查询方式通过rowKey来进行查询是最快的，所以rowkey的设计一定要合理，如果不合理会很影响查询速率。但是有时候确实没有办法完全通过rowkey来查询，所以就要借助scan.
scan命令支持的修饰词除了列（COLUMNS）修饰词外，HBase还支持Limit（限制查询结果行数），STARTROW（ROWKEY起始行。会先根据这个key定位到region，再向后扫描）、STOPROW(结束行)、TIMERANGE（限定时间戳范围）、VERSIONS（版本数）、和FILTER（按条件过滤行）等

查询user是zhangsan的用户的评论数据,最多只返回10条
scan 'zy_comment',{LIMIT=>10,FILTER=>"PrefixFilter('zhangsan')"}

通过startrow,stoprow来进行查询(这种也比较快,实际操作中如果不能通过rowkey)
scan 'zy_comment',{STARTROW=>'b',STOPROW='e',LIMIT=>10}
查询评论内容为666的评论有哪些
scan 'zy_comment',{LIMIT=>10,FILTER=>"ValueFilter(=,'substring:666')"}

查询热点文章的数据有哪些

1	scan 'zy_comment',{LIMIT=>10,FILTER="SingleColumnValueFilter('info','articleType',=,'binary: \x00\x00\x00\x00\x00\x00\x00\x02')"}

scan命令

这里binary中的数据一定要是二进制字符串而不是具体的值

查看评论包含great的热点文章评论有哪些

scan 'zy_comment',{LIMIT=>3,FILTER=>"(SingleColumnValueFilter('info','articleType',=,'binary:\x00\x00\x00\x00\x00\x00\x00\x02')) AND (ColumnPrefixFilter('commentInfo') AND ValueFilter(=,'substring:great'))"}

scan命令

查询评论的前两条
scan 'zy_comment',{FILTER=>"PageFilter(2)"}和LIMIT有异曲同工之妙
查询rowkey中包含特定前缀的数据
scan 'zy_comment',{FILTER=>"RowFilter(=,'substring:zhangsan')"}

使用全限定名称查询articleId是123456的数据

import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'zy_comment', {COLUMNS=>['info:commentInfo'], FILTER => SingleColumnValueFilter.new(Bytes.toBytes('info'), Bytes.toBytes('commentInfo'), CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('123456'))}

scan命令

注意

如果scan中指定了COLUMNS，则FILTER中所使用的列需要包含在所指定的COLUMNS中，否则，filter不起作用。
HBase中主要的操作对象是一个个的cell，每个cell都可以有多个版本。如果使用过滤器ValueFilter，就会只有那些符合条件的cell被查出来。跟关系数据库的查询不同，关系数据库查出来的结果中各行都有相同的列。而HBase，查出来的结果中，不同的行会有不同的列。
filter不会降低服务方的IO，它会把符合条件的子集传给客户端。即，它是在对查出的结果进行过滤，而不是象原来sql中的where子句。所以，如果要查出的结果中不包含filter需要的列，则filter就不能发挥作用。

参考文章

https://acadgild.com/blog/different-types-of-filters-in-hbase-shell
https://blog.csdn.net/u012185296/article/details/47338549