通过UIbot抓取京东商品链接

凡是用过UIBot的用户,应该都会试过运行UIBot自带的《京东商品抓取》脚本。

但是这个脚本使用自带的数据抓取功能,只能抓取商品、链接、价格等信息, 有些用户想抓取链接就比较犯难了。

实际上,UIBot的数据抓取功能是能抓取京东商品的链接,只是因为商品信息的div标签把title跟href合在了一起,这个抓取功能解析的时候比较傻,只解析到了title,没有解析到url,所以只需要修改一下抓取后目标栏里的json即可实现抓取标题以及url。

关键在 "props": ["url"]这段里面。

这是完整的句子, 可以获取商品标题/商品价格/商品的链接


{
    "Columns": [{
        "props": ["text"],
        "selecors": [{
            "className": "gl-warp clearfix",
            "index": 0,
            "prefix": "",
            "tag": "ul",
            "value": "ul.gl-warp.clearfix"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "li",
            "value": "li"
        }, {
            "className": "gl-i-wrap",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.gl-i-wrap"
        }, {
            "className": "p-name p-name-type-2",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.p-name.p-name-type-2"
        }, {
            "className": "",
            "index": 0,
            "prefix": ">",
            "tag": "a",
            "value": "a"
        }, {
            "className": "",
            "index": 0,
            "prefix": ">",
            "tag": "em",
            "value": "em"
        }]
    }, {
        "props": ["text"],
        "selecors": [{
            "className": "gl-warp clearfix",
            "index": 0,
            "prefix": "",
            "tag": "ul",
            "value": "ul.gl-warp.clearfix"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "li",
            "value": "li"
        }, {
            "className": "gl-i-wrap",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.gl-i-wrap"
        }, {
            "className": "p-price",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.p-price"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "strong",
            "value": "strong"
        }, {
            "className": "",
            "index": 0,
            "prefix": ">",
            "tag": "i",
            "value": "i"
        }]
    }, {
        "props": ["url"],
        "selecors": [{
            "className": "gl-warp clearfix",
            "index": 0,
            "prefix": "",
            "tag": "ul",
            "value": "ul.gl-warp.clearfix"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "li",
            "value": "li"
        }, {
            "className": "gl-i-wrap",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.gl-i-wrap"
        }, {
            "className": "p-name p-name-type-2",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.p-name p-name-type-2"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "a",
            "value": "a"
        }]
    }],
    "ExtractTable": 0
}

下面是获取链接的数据原

 {
        "props": ["url"],
        "selecors": [{
            "className": "gl-warp clearfix",
            "index": 0,
            "prefix": "",
            "tag": "ul",
            "value": "ul.gl-warp.clearfix"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "li",
            "value": "li"
        }, {
            "className": "gl-i-wrap",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.gl-i-wrap"
        }, {
            "className": "p-name p-name-type-2",
            "index": 0,
            "prefix": ">",
            "tag": "div",
            "value": "div.p-name p-name-type-2"
        }, {
            "index": 0,
            "prefix": ">",
            "tag": "a",
            "value": "a"
        }]
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 白昼逐渐隐没了星光,海面上寡淡的薄雾被光芒冲散,旭日升起。 养老院里弥漫着老人特殊的浑浊气味,像是被虫蛀空却仍未丢...
    malvina1126阅读 432评论 0 0
  • 同事间,本应该好好相处,可却恰恰相反,成为了一个充满了争议,明争暗斗的代表词! 或许你从没有认真这样想过,但我今日...
    职场蜜蜜阅读 894评论 0 3
  • 不知道为什么午饭叫“饭”,早餐、晚餐叫“餐”?叫“饭”的,可能是隆重点,自然,叫“餐”的,可能是随便点吧。 另外,...
    陈水河阅读 268评论 0 4
  • 昨日下了一日的雨,临睡前滴滴答答的雨声还在敲打玻璃,索索发抖的我裹着被子拿着手机刷了下新闻,有报道说未来一个星期只...
    布蓝的天阅读 575评论 0 0