var urls = [...];
var index = 0;
var visited_cnt = 0;
// 主要是使用 casper.each 方法
casper.each(urls, function(){
var url = urls[index++];
casper.thenOpen(url, function(){
console.log('Open ' + url);
visited_cnt += 1;
if(visited_cnt >= urls.length) {
casper.evaluate(function(){
// 通知结束
$('body')[0].dataset['crawlerover'] = 'yes';
});
}
});
});
// 等待直到循环结束
casper.waitForSelector('[data-crawlerover]', function(){
logging.info('over');
});
casper.run();
casperjs 循环抓取页面
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 我们在开发网络程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url...
- 一般来说爬虫类框架抓取Ajax动态页面都是通过一些第三方的webkit库去手动执行html页面中的js代码, 最后...
- 1. Node.js 安装配置: http://www.runoob.com/nodejs/nodejs-inst...
- The world is changing once again ,and it's time to pick o...