爬虫-urllib库的应用

四个模块


请求模块


status状态，200表示成功请求。header中包括一些请求及服务器的状态


另外可以将request参数化（为了添加header参数）：


data参数当网站使用post方法提交数据时使用该参数。bytes以字节流形式提交。

运行结果：


cookies保存（免登陆 ），使用代理（应对反爬虫）

异常的处理：


URL解析：urlparse



urlunparse:反过程，将各段拼接起来

urlencode方法将字典结构转化为get请求字符串的结构



©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容