详解spring封装hbase的代码实现

所属分类: 软件编程 / java 阅读数: 25
收藏 0 赞 0 分享

前面我们讲了spring封装MongoDB的代码实现,这里我们讲一下spring封装Hbase的代码实现。

hbase的简介:

此处大概说一下,不是我们要讨论的重点。

HBase是一个分布式的、面向列的开源数据库,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过Hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。hbase给我的印象就是无限存,按照Key读取。

那么在我们的Java程序中应该如何使用hbase呢。

首先:

引入hbase的jar包,如果不是Maven项目,可以单独按照以下格式下载hbase的jar包引入到你的项目里。

<dependency> 
  <groupId>org.apache.hbase</groupId> 
  <artifactId>hbase-client</artifactId> 
  <version>0.96.2-hadoop2</version> 
</dependency>

其次:

增加hbase在spring中的配置。

1.    新增hbase-site.xml配置文件。以下是通用配置,具体每个参数的含义可以百度以下,这里不做详细讲解。

<?xml version="1.0" encoding="UTF-8"?> 
<configuration> 
  <!--<property>--> 
    <!--<name>hbase.rootdir</name>--> 
    <!--<value>hdfs://ns1/hbase</value>--> 
  <!--</property>--> 
  <property> 
    <name>hbase.client.write.buffer</name> 
    <value>62914560</value> 
  </property> 
  <property> 
    <name>hbase.client.pause</name> 
    <value>1000</value> 
  </property> 
  <property> 
    <name>hbase.client.retries.number</name> 
    <value>10</value> 
  </property> 
  <property> 
    <name>hbase.client.scanner.caching</name> 
    <value>1</value> 
  </property> 
  <property> 
    <name>hbase.client.keyvalue.maxsize</name> 
    <value>6291456</value> 
  </property> 
  <property> 
    <name>hbase.rpc.timeout</name> 
    <value>60000</value> 
  </property> 
  <property> 
    <name>hbase.security.authentication</name> 
    <value>simple</value> 
  </property> 
  <property> 
    <name>zookeeper.session.timeout</name> 
    <value>60000</value> 
  </property> 
  <property> 
    <name>zookeeper.znode.parent</name> 
    <value>ZooKeeper中的HBase的根ZNode</value> 
  </property> 
  <property> 
    <name>zookeeper.znode.rootserver</name> 
    <value>root-region-server</value> 
  </property> 
  <property> 
    <name>hbase.zookeeper.quorum</name> 
    <value>zookeeper集群</value> 
  </property> 
  <property> 
    <name>hbase.zookeeper.property.clientPort</name> 
    <value>2181</value> 
  </property> 
</configuration> 

2. 新建spring-config-hbase.xml文件,记得在spring的配置文件中把这个文件Import进去。

<?xml version="1.0" encoding="UTF-8"?> 
<beans 
    xmlns="http://www.springframework.org/schema/beans" 
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
    xmlns:hdp="http://www.springframework.org/schema/hadoop" 
    xsi:schemaLocation="http://www.springframework.org/schema/beans 
http://www.springframework.org/schema/beans/spring-beans-3.0.xsd 
http://www.springframework.org/schema/hadoop 
http://www.springframework.org/schema/hadoop/spring-hadoop.xsd 
"> 
  <hdp:configuration resources="classpath:spring/hbase-site.xml" /> 
  <hdp:hbase-configuration configuration-ref="hadoopConfiguration" /> 
  <bean id="htemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate"> 
 

<!--注意到没有,spring的一贯风格,正如我们在mongodb篇讲到的一样,xxxTemplate封装--> 
    <property name="configuration" ref="hbaseConfiguration"> 
    </property> 
  </bean> 
  <bean class="com..HbaseDaoImpl" id="hbaseDao"> 
    <constructor-arg ref="htemplate"/> 
  </bean> 
</beans> 

最后:

我们就可以重写我们的HbaseDaoImple类了。在这里可以实现我们操作hbase的代码逻辑。其中prism:OrderInfo是我们的表名,f是列族名称,OrderInfo的属性是列族下的列名。orderInfo是我程序定义的bean,你可以按照自己的需求定义自己的bean。

public class HbaseDaoImpl{ 
 
 
  private HbaseTemplate hbaseTemplate; 
 
  private HConnection hconnection = null; 
 
  public HbaseDaoImpl(HbaseTemplate htemplate) throws Exception { 
    if (hconnection == null) { 
      hconnection = HConnectionManager.createConnection(htemplate.getConfiguration()); 
    } 
    if (this.hbaseTemplate == null) { 
      this.hbaseTemplate = htemplate; 
    } 
  } 
  public void writeDataOrderinfo(final OrderInfo orderInfo) { 
    HTableInterface table = null; 
    try { 
      table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); 
      Put p = new Put(Bytes.toBytes( orderInfo.getHistoryId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("id"), Bytes.toBytes(orderInfo.getId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("historyId"), Bytes.toBytes(orderInfo.getHistoryId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orderId"), Bytes.toBytes(orderInfo.getOrderId())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orderDirection"), Bytes.toBytes(orderInfo.getOrderDirection())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("overStatus"), Bytes.toBytes(orderInfo.getOverStatus())); 
      p.add(Bytes.toBytes("f"), Bytes.toBytes("orgArea"), Bytes.toBytes(orderInfo.getOrgArea())); 
      table.put(p); 
 
    } catch (IOException e) { 
      throw new RuntimeException(e); 
    } finally { 
      if (table != null) { 
        try { 
          table.close(); 
        } catch (IOException e) { 
          e.printStackTrace(); 
        } 
      } 
    } 
  } 
  public OrderInfo getOrderInfoByRowkey(String rowKey) { 
    Get get = new Get(Bytes.toBytes(rowKey)); 
    Scan scan = new Scan(get); 
    List<OrderInfo> list = hbaseTemplate.find("prism:orderInfo", scan, new RowMapper<OrderInfo>() { 
      @Override 
      public OrderInfo mapRow(Result result, int rowNum) throws Exception { 
        OrderInfo orderInfo = new OrderInfo(); 
        orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); 
        orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); 
        orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId"))));        
        return orderInfo; 
      } 
 
    }); 
    if(list.size() > 0){ 
      return list.get(0); 
    }else{ 
      return null; 
    } 
         
  } 
 
  public List<OrderInfo> getOrderInfoByRange(String start_rowKey,String stop_rowKey) { 
    Scan scan = new Scan(); 
    scan.setStartRow(Bytes.toBytes(start_rowKey)); 
    scan.setStopRow(Bytes.toBytes(stop_rowKey)); 
    HTableInterface table = null; 
    ResultScanner rs = null; 
    List<OrderInfo> list = new ArrayList<OrderInfo>(); 
    try { 
      table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); 
      rs = table.getScanner(scan); 
      for(Result result : rs){ 
        OrderInfo orderInfo = new OrderInfo(); 
        orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); 
        orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); 
        orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId")))); 
        orderInfo.setOrderDirection(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderDirection")))); 
        list.add(orderInfo); 
      } 
    } catch (IOException e) { 
      e.printStackTrace(); 
    }finally{ 
      rs.close(); 
    } 
    return list;     
  } 
  public HbaseTemplate getHbaseTemplate() { 
    return hbaseTemplate; 
  } 
 
  public void setHbaseTemplate(HbaseTemplate hbaseTemplate) { 
    this.hbaseTemplate = hbaseTemplate; 
  } 
 
} 

注:在程序中,你可以使用spring封装的HbaseTemplate,也可以使用原生的hconnection等的操作方式,如何操作在我们的代码示例中都有。个人觉得,spring封装的HbaseTemplate不太好使,比如每次请求都会重新链接一下zookeeper集群(其中缘由我也没去研究,有研究透的同学还望不吝赐教)。建议用原生的方式。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

Java的面向对象编程基本概念学习笔记整理

这篇文章主要介绍了Java的面向对象编程基本概念学习笔记整理,包括类与方法以及多态等支持面向对象语言中的重要特点,需要的朋友可以参考下
收藏 0 赞 0 分享

Eclipse下编写java程序突然不会自动生成R.java文件和包的解决办法

这篇文章主要介绍了Eclipse下编写java程序突然不会自动生成R.java文件和包的解决办法 的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

基于Java实现杨辉三角 LeetCode Pascal's Triangle

这篇文章主要介绍了基于Java实现杨辉三角 LeetCode Pascal's Triangle的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

Java中Spring获取bean方法小结

Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架,如何在程序中获取Spring配置的bean呢?下面通过本文给大家介绍Java中Spring获取bean方法小结,对spring获取bean方法相关知识感兴趣的朋友一起学习吧
收藏 0 赞 0 分享

如何计算Java对象占用了多少空间?

在Java中没有sizeof运算符,所以没办法知道一个对象到底占用了多大的空间,但是在分配对象的时候会有一些基本的规则,我们根据这些规则大致能判断出来对象大小,需要的朋友可以参考下
收藏 0 赞 0 分享

剖析Java中的事件处理与异常处理机制

这篇文章主要介绍了Java中的事件处理与异常处理机制,讲解Java是如何对事件或者异常作出响应以及定义异常的一些方法,需要的朋友可以参考下
收藏 0 赞 0 分享

详解Java的Struts2框架的结构及其数据转移方式

这篇文章主要介绍了详解Java的Struts2框架的结构及其数据转移方式,Struts框架是Java的SSH三大web开发框架之一,需要的朋友可以参考下
收藏 0 赞 0 分享

Java封装好的mail包发送电子邮件的类

本文给大家分享了2个java封装好的mail包发送电子邮件的类,并附上使用方法,小伙伴们可以根据自己的需求自由选择。
收藏 0 赞 0 分享

在Java的Struts中判断是否调用AJAX及用拦截器对其优化

这篇文章主要介绍了在Java的Struts中判断是否调用AJAX及用拦截器对其优化的方法,Struts框架是Java的SSH三大web开发框架之一,需要的朋友可以参考下
收藏 0 赞 0 分享

java多线程Future和Callable类示例分享

JAVA多线程实现方式主要有三种:继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future实现有返回结果的多线程。其中前两种方式线程执行完后都没有返回值,只有最后一种是带返回值的。今天我们就来研究下Future和Callab
收藏 0 赞 0 分享
查看更多