爬取豆瓣图书遇到的问题

功能：爬取所有tag下所有图书信息，每个tag下分页爬取。
遇到的问题：一开始我用session进行爬取，每次分页都会出现错误
HTTPSConnectionPool(host='book.douban.com', port=443): Max retries exceeded with url: /tag/%E5%B0%8F%E8%AF%B4?start=20 (Caused by ConnectTimeoutError(<urllib3.connection.VerifiedHTTPSConnection object at 0x08C99230>, 'Connection to 27.159.167.45 timed out. (connect timeout=10)'))
解决方法：然后将session全部换成requests，结果不报错。
原因：不知道

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容