Java爬虫可以非常溜

xxl-crawler是 许雪里 大佬开源的一个java爬虫，熟悉java语言的用起来可以非常顺手。

代码仓库：

https://github.com/xuxueli/xxl-crawler

官网文档：

https://www.xuxueli.com/xxl-crawler/#爬虫示例参考

0x01：新建工程，并在pom.xml文件引入

<dependency>    <groupId>com.xuxueli</groupId>    <artifactId>xxl-crawler</artifactId>    <version>1.2.2</version></dependency><dependency>    <groupId>org.jsoup</groupId>    <artifactId>jsoup</artifactId>    <version>1.11.2</version></dependency>

0x02：编写页面数据对象

在此推荐两款工具，可以直观迅速的获取页面元素的Jquery cssQuery表达式。

• Chrome DevTools：首先定位元素位置，然后从Element选中选中元素，点击右键选择“Copy + Copy selector”即可;

Chrome DevTools使用如图

• Jquery Selector Helper（Chrome插件）：首先定位元素位置，然后从Element右侧打开Selector界面，然后定位元素即可；

package com.spider.page.vo;import com.xuxueli.crawler.annotation.PageFieldSelect;import com.xuxueli.crawler.annotation.PageSelect;import com.xuxueli.crawler.conf.XxlCrawlerConf.SelectType;@PageSelect(cssQuery = "body > div.container > div > div > table > tbody > tr")public class GzGemasComCnPageMainVo {    @PageFieldSelect(cssQuery = "td:nth-child(1)")    private String code;    @PageFieldSelect(cssQuery = "td:nth-child(2)")    private String title;    @PageFieldSelect(cssQuery = "td:nth-child(3)")    private String status;    @PageFieldSelect(cssQuery = "td:nth-child(4)")    private String date;    @PageFieldSelect(cssQuery = "td:nth-child(2) > a", selectType=SelectType.ATTR, selectVal="onclick")    private String url;    public String getCode() {        return code;    }    public void setCode(String code) {        this.code = code;    }    public String getTitle() {        return title;    }    public void setTitle(String title) {        this.title = title;    }    public String getStatus() {        return status;    }    public void setStatus(String status) {        this.status = status;    }    public String getDate() {        return date;    }    public void setDate(String date) {        this.date = date;    }    public String getUrl() {        return url;    }    public void setUrl(String url) {        this.url = url;    }}

0x03：创建爬虫爬取数据

XxlCrawler crawler = new XxlCrawler.Builder()                .setUrls("http://gz.gemas.com.cn/portal/article/proList.shtml?proType=guquan&typeGz=G3T3&proSource=&pageIndex=1")                .setAllowSpread(false) //允许扩散爬取，将会以现有URL为起点扩散爬取整站                .setThreadCount(1)                .setPageParser(new PageParser<GzGemasComCnPageMainVo>() {                    @Override                    public void parse(Document html, Element pageVoElement, GzGemasComCnPageMainVo gzGemasComCnPageVo) {                        // 解析封装 PageVo 对象                        String pageUrl = html.baseUri();                        logger.info("pageUrl: " + pageUrl);                        logger.info("Code: " + gzGemasComCnPageVo.getCode() + ", Title: " + gzGemasComCnPageVo.getTitle()                             + ", sdate: " + gzGemasComCnPageVo.getDate() + ", url: " + gzGemasComCnPageVo.getUrl()                            + ", status: " + gzGemasComCnPageVo.getStatus());                    }                })                .build();crawler.start(true);

关键步骤视频说明：

原作者：Java乐园
原文链接：Java爬虫可以非常溜
原出处：公众号
侵删