需求：
起点中文网抓取分页抓取数据并保持原有顺序不变
分页数据url和分页url独立，无关联性
webcollector中使用异步多线程执行抓取，不能将下载顺序作为原数据排序
网站不同，分页区别较大
分页条件下，数据顺序只是当前页20条，40条等
由于visit()方法只是根据url解析当前页的内容，如何将分页数据传入到详情页
1、翻看AutoParseCrawler的源码提供如下方法
AutoParseCrawler(boolean)//构造方法getResponse(CrawlDatum)//获取响应execute(CrawlDatum, CrawlDatums)//执行url抓取afterParse(Page, CrawlDatums)//完成当前页的解析parseLink(Page, CrawlDatums)//根据正则解析当前页的UrladdRegex(String)isAutoParse()setAutoParse(boolean)getRegexRule()setRegexRule(RegexRule)getVisitor()setVisitor(Visitor)getRequester()setRequester(Requester)
感觉afterParse、parseLink这两个方法能会有用，详细代码如下：
/**
* 只提供空方法，继承可重写
**/protectedvoidafterParse(Page page, CrawlDatumsnext) {}/**
* 根据正则解析当前页的Url
**/protectedvoidparseLink(Page page, CrawlDatumsnext) {String conteType = page.getResponse().getContentType();if((conteType !=null) && (conteType.contains("text/html"))) {Document doc = page.getDoc();if(doc !=null) {Links links =newLinks().addByRegex(doc,this.regexRule);next.add(links);}}}
假设当前页是分页Url:
http://a.qidian.com/?size=-1&sign=-1&tag=-1&chanId=-1&subCateId=-1&orderId=&update=-1&page=1&month=-1&style=1&action=-1&vip=-1
那么parseLink分析匹配的数据为详情url
http://book.qidian.com/info/(\d+)
也就是说，在下次进入visit()方法时是无法获取详情detailUrl在pageUrl中的排序的，因此思路是如何从pageUrl中将detailUrl的排序信息传入detailUrl中，查看源码发现CrawlDatum有个meta方法
//设置元数据publicCrawlDatum meta(Stringkey,Stringvalue) {this.metaData.put(key, value);returnthis;}//已废弃@DeprecatedpublicCrawlDatum putMetaData(Stringkey,Stringvalue) {returnmeta(key, value);}
数据结构：
网站ID＋分页数（n位不足前补零）＋当前页index（m位不足前补零）
样例：100000001001 （起点中文网第一页第一条）
pageIndex及contentIndex的确定及传入
排序值生成
StringorderNum =String.format("%s%s%s", ipSpiderConfig.getOrderNumPrefix(),SequenceUtil.formatNumber(ORDER_PAGE_N, Integer.valueOf(page.meta("pageIndex"))),SequenceUtil.formatNumber(ORDER_INDEX_N, Integer.valueOf(page.meta(page.getUrl()))));
SequenceUtil
publicclassSequenceUtil{/** * 生成n位数字串不足补0 *@authorwangxb147 *@date2017年5月15日 *@paramn 数字 *@paramnum 位数 *@return*/publicstaticStringformatNumber(intn,intnum){ String format ="%0"+n+"d";returnString.format(format, num); }}
pageIndex及contentIndex的确定及传入
@Overrideprotected void parseLink(Page page, CrawlDatums next) {StringconteType = page.getResponse().getContentType();if(conteType != null && conteType.contains("text/html")) {Document doc = page.getDoc();if(doc != null) {Links links = new Links().addByRegex(doc,regexRule);next.add(links);// 通过元数据记录indexfor (int i =0; i < links.size(); i++) {Stringlink = links.get(i);if(link.matches(ipSpiderConfig.getContentUrlRegex())) {next.meta(link, i +"");}}}}HashMapmetaData = page.getMetaData();Set>entrySet = metaData.entrySet();Iterator>iter= entrySet.iterator();while(iter.hasNext()){Map.Entryentry= (Map.Entry)iter.next();Stringkey = (String)entry.getKey();Stringvalue = (String)entry.getValue();next.meta(key, value);}}
对源码分析会是一种获取解决问题思路的好来源
无效的百度和google是在浪费生命
