Python 爬虫工具

1、Requests

Requests

　　requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？下面是Requests的创建者Kenneth Reitz对python标准库工具的评价。

python的标准库urllib2为你提供了大多数HTTP功能，但是它的API非常差劲。这是因为他是经过许多年一步步建立起来的——不同时期要面对的是不同的网络环境。于是为了完成最简单的任务，他需要耗费大量的工作。
事情不应该这样复杂，更不应该发生在python里。
Requests文档

requests处理URL非常简单，符合“人生苦短，我用python”的理念。

2、BeautifulSoup

BeautifulSoup

BeautifulSoup文档

3、Selenium

4、PhantomJS

PhantomJS文档

5、Scrapy

Scrapy文档

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容