js实现批量获取年度社会责任报告排行数据

批量获取这个网站的数据 http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2017-12-31

网站数据

使用Chrome调试工具获取到接口为：http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2017-12-31&count=20&pname=20&titType=null&page=1&callback=hxbase_json11545997932143
返回数据格式示例：

hxbase_json1({sum:3578,list:[{Number:'1',StockNameLink:'stock_bg.aspx?code=600816&date=2017-12-31',industry:'安信信托(600816)',stockNumber:'22.38',industryrate:'74.77',Pricelimit:'B',lootingchips:'9.50',Scramble:'9.00',rscramble:'5.20',Strongstock:'28.69',Hstock:' <a href ="http://www.cninfo.com.cn/finalpage/2018-02-08/1204401583.PDF" target="_blank"><img alt="" src="img/table_btn1.gif"></img ></a>',Wstock:'<a href ="http://stockdata.stock.hexun.com/600816.shtml" target="_blank"><img alt="" src="img/icon_02.gif"></img ></a>',Tstock:'<img alt="" onclick="addIStock(\'600816\',\'1\');"  code="" codetype="" " src="img/icon_03.gif"></img >'}])

由于不是标准json格式，不好利用，故对数据进行改造
js的replace()只能替换第一个匹配字符，没有全局替换方法，于是使用正则表达式里的g为全局标志给String类增加一个replaceAll()函数

    String.prototype.replaceAll = function(reallyDo, replaceWith, ignoreCase) {  
        if (!RegExp.prototype.isPrototypeOf(reallyDo)) {  
            return this.replace(new RegExp(reallyDo, (ignoreCase ? "gi": "g")), replaceWith);  
        } else {  
            return this.replace(reallyDo, replaceWith);  
        }  
    }

接下来把原数据进行改造成json格式，把单引号变成双引号，该加的地方加引号

json = json.replaceAll("'","\"");
json = json.replaceAll("{", "{\"");
json = json.replaceAll(":", "\":");
json = json.replaceAll(",", ",\"");
json = json.replaceAll("},\"", "},");
json = json.replace('[object Object]','')
json = json.slice(0,-1);
json = '['+json + ']'

这里采用取巧的办法，使用防xss工具把没用的链接消除

json = filterXSS(json)
json = json.replaceAll('"_blank"','')
var newjson = JSON.parse(json)

nginx配置：

location /zang { 
  proxy_pass   http://stockdata.stock.hexun.com/;
}

前端完整js代码如下：

$(document).ready(function(){
        var json = {};
        for(var i=1;i<=120;i++){
            var url = 'http://localhost:8888/zang/zrbList.aspx?date=2010-12-31&count=20&pname=20&titType=null&page='+i+'&callback=hxbase_json11545820683857';
            $.ajax({
                method:'get',
                url:url,
                async:false,
                success:function(data){
                    data = data.slice(29,-3)
                    data = data + ','
                    console.log(data)
                    json=json + data;
                    console.log(i)
                    if(i==120){
                        console.log(typeof(json))
                        String.prototype.replaceAll = function(reallyDo, replaceWith, ignoreCase) {  
                            if (!RegExp.prototype.isPrototypeOf(reallyDo)) {  
                                return this.replace(new RegExp(reallyDo, (ignoreCase ? "gi": "g")), replaceWith);  
                            } else {  
                                return this.replace(reallyDo, replaceWith);  
                            }  
                        }
                        json = json.replaceAll("'","\"");
                        json = json.replaceAll("{", "{\"");
                        json = json.replaceAll(":", "\":");
                        json = json.replaceAll(",", ",\"");
                        json = json.replaceAll("},\"", "},");
                        json = json.replace('[object Object]','')
                        json = json.slice(0,-1);
                        json = '['+json + ']'
                        json = filterXSS(json)
                        json = json.replaceAll('"_blank"','')
                        var newjson = JSON.parse(json)
                        console.log(newjson)

                       layui.use('table', function(){
                            var table = layui.table;
                            table.render({
                                elem: '#demo'
                                ,data: newjson 
                                ,toolbar: 'default' 
                                ,limit:10000
                                ,cols: [[ 
                                {field: 'Number', title: '序号', width:80, sort: true, fixed: 'left'}
                                ,{field: 'industry', title: '股票名称（代码）', width:80}
                                ,{field: 'Strongstock', title: '股东责任', width:80, sort: true}
                                ,{field: 'stockNumber', title: '股东责任', width:80} 
                                ,{field: 'industryrate', title: '总得分', width: 177}
                                ,{field: 'Pricelimit', title: '等级', width: 80, sort: true}
                                ,{field: 'lootingchips', title: '员工责任', width: 80, sort: true}
                                ,{field: 'Scramble', title: '供应商、客户和消费者权益责任', width: 80}
                                ,{field: 'rscramble', title: '环境责任', width: 135, sort: true}
                                ]]
                            }); 
                          });
                    }
                }
            })
        }
 
    })