scrapy +selenium +chrome 爬取天猫指定商品的价格

1.首先对要爬取页面的地址进行分析

第二页的地址

https://list.tmall.com/search_product.htm?cat=53636001&s=60&q=%CF%C4&sort=s&style=g&search_condition=23&from=sn_1_rightnav&active=1&industryCatId=53636001&type=pc#J_Filter

第三页的地址

https://list.tmall.com/search_product.htm?cat=53636001&s=120&q=%CF%C4&sort=s&style=g&search_condition=23&from=sn_1_rightnav&active=1&industryCatId=53636001&type=pc#J_Filter

由此可以分享出 改商品的地址为：

https://list.tmall.com/search_product.htm?cat=53636001&s=120第三页

https://list.tmall.com/search_product.htm?cat=53636001&s=60第二页

https://list.tmall.com/search_product.htm?cat=53636001&s=0第一页

前一页+60 等于下一页

然后进行 页面分析



由此可以

由此可以看到 我们需要的价格  使用xpath 把价格匹配出来 response.xpath("///div[@class="product-iWrap"]/p[@class="productPrice"]/em/text()")

获取到了当前页面的价格



配置setting.py


最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 测试一下下
    list.tmall.hk list.tmall.com s.m.tmall.com www.tmall.com ...
    测试一下下阅读 1,311评论 0赞 0
  • 坑
    坑，一个比一个大 就不能自己冷静一点？ 首先，新鲜的东西，要注意的地方很多，傻瓜就是不分方向，使劲乱冲，心急添乱，...
    winnisz阅读 134评论 0赞 0
  • 为什么，你羡慕的爱情都是别人的
    我现在大二，没有过多的感情经历，算起来只有两次，一次是我初二的时候，一次是我高一的时候，之后再也没有。 总的来说，...
    爱柠檬的陈姑娘阅读 1,521评论 6赞 3
  • 你好像风
    天喜自由 但笑的大方 哭的磊落 生性孤僻 却落落不群 侠骨柔情 单枪匹马也能所向披靡 在权势面前不减狂骄 在高贵面...
    于沛龙阅读 164评论 0赞 0