当我们爬虫爬取大量数据并且已经爬取到了本地，这些数据如果不存储起来，那么就会变得无效.
那下面让小编教你把这些数据插入Excel中保存下来吧~
我们已经把数据爬到本地并已经插入execl，上效果图
操作Execl其实里面很多东西要去了解，但这里我讲常用的读写，满足我们的一般需求,感兴趣的朋友可以自己去深入。
1. 读execl文件
需要安装 xlrd库，老办法，直接在setting中安装，然后导入放可使用python读取execl
操作这样的execl列表
# coding=utf-8
importxlrd
data = xlrd.open_workbook('execl_file.xlsx')
table = data.sheets()[0]#通过索引顺序获取table, 一个execl文件一般都至少有一个table
printtable.nrows#行数
printtable.ncols#列数
forkinrange(table.nrows):#遍历行数据
printtable.row_values(k)
foriinrange(table.ncols):#便利列数据
printtable.col_values(i)
printtable.cell(2,2).value#获取单元格数据，前一个是行数，从0开始，后一个是列数，且列数从0开始
forainrange(1,table.nrows):#行数据，我正好要去掉第1行标题
forbinrange(table.ncols):
printtable.cell(a,b).value
print'----------------------'
得到结果：
6
4
[u'\u54c1\u724c',u'size',u'\u4ef7\u683c',u'\u6027\u522b']
[u'Nike',90.0,1033.0,u'\u7537']
[u'addida',88.0,444.0,u'\u5973']
[u'zara',87.0,333.0,u'\u7537']
[u'Lining',33.0,22.0,u'\u7537']
[u'kappa',33.0,222.0,u'\u7537']
[u'\u54c1\u724c',u'Nike',u'addida',u'zara',u'Lining',u'kappa']
[u'size',90.0,88.0,87.0,33.0,33.0]
[u'\u4ef7\u683c',1033.0,444.0,333.0,22.0,222.0]
[u'\u6027\u522b',u'\u7537',u'\u5973',u'\u7537',u'\u7537',u'\u7537']
444.0
Nike
90.0
1033.0
男
----------------------
addida
88.0
444.0
女
----------------------
zara
87.0
333.0
男
----------------------
Lining
33.0
22.0
男
----------------------
kappa
33.0
222.0
男
----------------------
很简单没有什么要解释的了
2. 复习一下range函数
#>>> range(1,5)#代表从1到5(不包含5)
# [1, 2, 3, 4]
#>>> range(1,5,2)#代表从1到5，间隔2(不包含5)
# [1, 3]
#>>> range(5)#代表从0到5(不包含5)
# [0, 1, 2, 3, 4]
3. 写入execl
需要安装xlwt库，老办法自己先安装，不多说了,需要导入xlwt然后放可使用python写入数据
workbook = xlwt.Workbook(encoding='utf-8')#创建workbook 其实就是execl，
worksheet = workbook.add_sheet('my_worksheet')#创建表，如果想创建多个，直接在后面再add_sheet
worksheet.write(0,0,label ='Row 0,Column 0 Value')#3个参数，第一个参数表示行，从0开始，第二个参数表示列从0开始，第三个参数表示插入的数值
workbook.save('execl_liu.xlsx')#写完记得一定要保存
完整实例代码
f = xlwt.Workbook()#创建工作薄
#创建个人信息表
sheet1 = f.add_sheet(u'个人信息',cell_overwrite_ok=True)
rowTitle = [u'编号',u'姓名',u'性别',u'年龄']
rowDatas = [[u'张一',u'男',u'18'],[u'李二',u'女',u'20'],[u'黄三',u'男',u'38'],[u'刘四',u'男',u'88']]
foriinrange(0,len(rowTitle)):
sheet1.write(0,i,rowTitle[i],set_style('Times new Roman',220,True)) 后面是设置样式
forkinrange(0,len(rowDatas)):#先遍历外层的集合，即每行数据
rowDatas[k].insert(0,k+1)#每一行数据插上编号即为每一个人插上编号
forjinrange(0,len(rowDatas[k])):#再遍历内层集合
sheet1.write(k+1,j,rowDatas[k][j])#写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据
#创建个人收入表
sheet1 = f.add_sheet(u'个人收入表',cell_overwrite_ok=True)
rowTitle2 = [u'编号',u'姓名',u'学历',u'工资']
rowDatas2 = [[u'张一',u'本科',u'8000'],[u'李二',u'硕士',u'10000'],[u'黄三',u'博士',u'20000'],[u'刘四',u'教授',u'50000']]
foriinrange(0,len(rowTitle2)):
sheet1.write(0,i,rowTitle2[i])
forkinrange(0,len(rowDatas2)):#先遍历外层的集合
rowDatas2[k].insert(0,k+1)#每一行数据插上编号即为每一个人插上编号
forjinrange(0,len(rowDatas2[k])):#再遍历内层集合
sheet1.write(k+1,j,rowDatas2[k][j])#写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据
f.save('info.xlsx')
最后得到的效果图
3. 把爬取的数据插入到execl中
这里直接上代码了，相关的注释都在代码里
# coding=utf-8
importrequests
importtime
importxlwt
importxlrd
fromlxmlimportetree
classZbjData(object):
def__init__(self):
self.f = xlwt.Workbook()#创建工作薄
self.sheet1 = self.f.add_sheet(u'任务列表',cell_overwrite_ok=True)
self.rowsTitle = [u'编号',u'标题',u'简介',u'价格',u'截止时间',u'链接']
foriinrange(0, len(self.rowsTitle)):
self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman',220,True))
self.f.save('zbj.xlsx')
defset_style(self,name, height, bold=False):
style = xlwt.XFStyle()# 初始化样式
font = xlwt.Font()# 为样式创建字体
font.name = name
font.bold = bold
font.colour_index =2
font.height = height
style.font = font
returnstyle
defgetUrl(self):
foriinrange(33):
url ='http://task.zbj.com/t-ppsj/p{}s5.html'.format(i+1)
self.spiderPage(url)
defspiderPage(self,url):
ifurlisNone:
returnNone
try:
data = xlrd.open_workbook('zbj.xlsx')
table = data.sheets()[0]# 通过索引顺序获取table, 一个execl文件一般都至少有一个table
rowCount = table.nrows#获取行数 ，下次从这一行开始
proxies = {
'http':'http://221.202.248.52:80',
}
user_agent ='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400'
headers = {'User-Agent': user_agent}
htmlText = requests.get(url, headers=headers,proxies=proxies).text
selector = etree.HTML(htmlText)
tds = selector.xpath('//*[@class="tab-switch tab-progress"]/table/tr')
m =0
fortdintds:
data = []
price = td.xpath('./td/p/em/text()')
href = td.xpath('./td/p/a/@href')
title = td.xpath('./td/p/a/text()')
subTitle = td.xpath('./td/p/text()')
deadline = td.xpath('./td/span/text()')
price = price[0]iflen(price)>0else''# python的三目运算 :为真时的结果 if 判定条件 else 为假时的结果
title = title[0]iflen(title)>0else''
href = href[0]iflen(href)>0else''
subTitle = subTitle[0]iflen(subTitle)>0else''
deadline = deadline[0]iflen(deadline)>0else''
#拼装成一个集合
data.append(rowCount+m)#加个序号
data.append(title)
data.append(subTitle)
data.append(price)
data.append(deadline)
data.append(href)
foriinrange(len(data)):
self.sheet1.write(rowCount+m,i,data[i])#写入数据到execl中
m+=1#记录行数增量
printm
printprice, title, href, subTitle, deadline
exceptException,e:
print'出错',e.message
finally:
self.f.save('zbj.xlsx')
if'_main_':
zbj = ZbjData()
zbj.getUrl()
最后的效果图是：
注意这里爬取数据的时候，有的代理ip还是被禁用了，所以获取数据有失败的情况，所以这里需要有异常处理..
当然数据还应该存入到数据库中，所以下一篇我们会来讲讲如何把数据插入到数据库中。
