2018-06-22

                                  python爬虫完整步骤

一、爬虫主题:
爬取网络小说(目录和内容),保存在本地或数据库中。
url网址:http://www.shuge.net/html/104/104326/
小说题目:二狗的人生

二、涵盖知识点 :
1、库的引用
2、网页请求
3、内容解析(正则表达式)
4、文件保存
5、面向对象方法

三、环境准备:
本人采用的是win10系统,pycharm开发环境,python3.5版本语言,mysql5.7版本数据库。
不同版本会有所差别,注意细节。

四、正式开始:
需要用到的库:urllib(对应python3版本),re(正则),pymysql(对应python3版本)
上图:
1,

屏幕截图(3).png

2,![屏幕截图(4).jpg](https://upload-images.jianshu.io/upload_images/12626355-830b097832310702.jpg?imageMogr2
/auto-orient/strip%7CimageView2/2/w/1240)
3,
屏幕截图(5).jpg

4,
屏幕截图(6).jpg

5,保存在本地结果显示:
屏幕截图(7).jpg

6,保存在数据库显示:


屏幕截图(2).png

五,评点:
上传的图片不知道大家看不看得到,因为想到转成文字可能会很多,所以就传的图片,仅供来分享和参考。区区50行代码,就能做出一个完整系列的爬虫,就本身也是一个菜鸟来说,还是有一点小小的成就感。有需要的可以保存,值得交流的地方欢迎随时探讨学习经验,再见@

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容