使用java技术抓取网站上彩票双色球信息详解

所属分类: 软件编程 / java 阅读数: 45
收藏 0 赞 0 分享

前言

现在很多web应用,做过web项目的童鞋都知道,web结果由html+js+css组成,html结构都有一定的规范,数据动态交互可以通过js实现。

有些时候,需要抓取某一个你感兴趣的网站信息,一个网站信息肯定是通过某一个url,发送http请求,根据地址定位的,当知道这个地址,可以获取到很多的网络响应,需要认真分析,找到你那一个合适的地址,最后通过这个地址返回一个html给你,我们可以得到这个html,分析结构,解析这个结构获取你要的数据。Html的结构解析往往是复杂繁琐的,我们可以使用java的支持包:jsoup,可以完成发送请求,解析html等功能,得到你感兴趣的数据。

下面就以一个彩票网站为例来简单说明整体操作流程,分为以下几大步骤:

  • 根据官网,定位到自己感兴趣的模块:双色球
  • 分析页面,找到它的入口地址
  • 获取地址,使用jsoup发送请求,获取返回的Document对象
  • 分析Document对象,获取感兴趣的数据

1:根据官网,定位到自己感兴趣的模块:双色球:

本人选择的500彩票网站:请根据以下步骤,找到双色球板块。

 

 2:分析页面,找到它的入口地址

发现右侧有一个下拉选择框,这个是历史双色球开奖期号。改变这个值,浏览器会重新去请求这期的开奖信息,确定地址是:

http://kaijiang.500.com/shtml/ssq/选择期号.shtml

 3:获取地址,使用jsoup发送请求,获取返回的Document对象

创建一个maven工程,导入jsoup的依赖:在你java类中,向2地址发送请求:获取返回的页面数据:

返回的html页面内容比较多,就不贴在这里的,下面直接对这个页面分析(特别说明,每一个html的结构不是一成不变的,有可能当读者看到这篇文章的时候,网站修改了网页结构,那么你需要重新分析,当然,估计这个网站修改网页结构的可能性比较小。。。。。。)

 4:分析Document对象,获取感兴趣的数据

双色球由6个红球+1个篮球组成,通过分析网页,是通过class来表示的,网页源码如下:

通过以下代码,获取到6个红球:

同理,可以获取到1个篮球。

根据这个原理,你可以获取你想要的很多的数据:以下是本人获取的数据

以上是个人对java中简单抓取网页数据的分享,感兴趣的童鞋可以自己的实践一下,实践出真知。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

更多精彩内容其他人还在看

浅谈spring注解之@profile

这篇文章主要介绍了浅谈spring注解之@profile,@profile通过配置来改变参数,这里整理的详细的用法,有兴趣的可以了解一下
收藏 0 赞 0 分享

Java this 关键字的使用方法详解

这篇文章主要介绍了Java this 关键字的使用方法详解的相关资料,希望通过本文能帮助到大家,让大家彻底理解掌握这部分内容,需要的朋友可以参考下
收藏 0 赞 0 分享

Java super关键字的使用方法详解

这篇文章主要介绍了Java super关键字的使用方法详解的相关资料,希望通过本文能帮助到大家,让大家对super关键字彻底掌握,需要的朋友可以参考下
收藏 0 赞 0 分享

springboot整合redis进行数据操作(推荐)

springboot整合redis比较简单,并且使用redistemplate可以让我们更加方便的对数据进行操作。下面通过本文给大家分享springboot整合redis进行数据操作的相关知识,感兴趣的朋友一起看看吧
收藏 0 赞 0 分享

java实现简单解析XML文件功能示例

这篇文章主要介绍了java实现简单解析XML文件功能,结合实例形式分析了java针对xml文件的读取、遍历节点及输出等相关操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

Spring Java-based容器配置详解

这篇文章主要介绍了Spring Java-based容器配置详解,涉及注解和@Configuration类以及@Beans的相关知识,具有一定参考价值,需要的朋友可以了解。
收藏 0 赞 0 分享

java实现MD5加密的方法小结

这篇文章主要介绍了java实现MD5加密的方法,结合具体实例形式总结分析了java实现md5加密的常用操作技巧与使用方法,需要的朋友可以参考下
收藏 0 赞 0 分享

使用maven运行Java Main的三种方法解析

这篇文章主要介绍了使用maven运行Java Main的三种方式的相关内容,具有一定参考价值,需要的朋友可以了解下。
收藏 0 赞 0 分享

javaweb设计中filter粗粒度权限控制代码示例

这篇文章主要介绍了javaweb设计中filter粗粒度权限控制代码示例,小编觉得还是挺不错的,需要的朋友可以参考。
收藏 0 赞 0 分享

java 流操作对文件的分割和合并的实例详解

这篇文章主要介绍了java 流操作对文件的分割和合并的实例详解的相关资料,希望通过本文能帮助到大家,让大家理解掌握这部分内容,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多