解决“RecursionError”的问题

在学习爬虫的时候,在IP代理池使用的情况下,总是爬取到一大半的时候会弹出“RecursionError”的错误。经过多番资料查找,原因为:python默认的递归深度是很有限的(默认是1000),因此当递归深度超过999的样子,就会引发这样的一个异常。

解决方法:将递归深度调高

import sys
sys.setrecursionlimit(100000) #你想设置的递归深度(可为任意值)

有时候爆出这个错误,不能单单只用这种方法解决,更应该注重代码的优化。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,941评论 25 709
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 14,465评论 2 59
  • 6 4月16日,色威乡召开“城乡低保对象清理工作”专题会,勇成书记详细解读了新民发(2018)22号文件,周密安排...
    泽西拉姆阅读 1,527评论 0 0
  • 终于在期待中,小米mix 2终于要在9月11日正式发布了。而小米对这款重磅新机充满了信心,小米的mix系列开启了全...
    网商信息推送阅读 1,462评论 0 0
  • 我们为什么而工作? 稻盛和夫先生说了,在工作中能够磨练人的灵魂,提升心志。一分付出一分收获,每天认真工作,才能获得...
    幸福路上_daed阅读 1,280评论 0 0