NodeJS数据接收总结（接收嵌入式设备socket包）

字节流的认识

项目的终端设备是通过socket接口传输数据的，到应用层就只有单纯的数据了。数据是以字节流的形式被后台程序接收的，那么什么是字节流呢？

字节流是由字节组成的,字节流是由字符组成的. Java里字符由两个字节组成.字节流是最基本的，所有的InputStream和OutputStream的子类都是，主要用在处理二进制数据，它是按字节来处理的但实际中很多的数据是文本，又提出了字符流的概念，它是按虚拟机的encode来处理，也就是要进行字符集的转化。

而最早的encode方式就是ASCII码，车流量项目的终端发出的socket的也是采用ASCII。
接着说字节流，字节流的最小单位是Byte，在NodeJS中我们data event监听接收到的data（或者在Java中的InputStream）实际上是Byte[],

一个byte型整数在内存中占8位，也就是一个字节. 表数范围:-128 --127

他们是ASCII码编码的，数值都是每个字符对应的ASCII码值[http://www.asciitable.com/]

Net模块

安装nodejs后自带的module可直接使用。

Node.js Net 模块提供了一些用于底层的网络通信的小工具，包含了创建服务器/客户端的方法，我们可以通过以下方式引入该模块：
var net = require("net")

net模块主要有两种对象供我们使用

net.Server

net.Server通常用于创建一个 TCP 或本地服务器。这里用到了回调函数, 参考[//www.greatytc.com/p/fa9601753942].

net.Socket

net.Socket 对象是 TCP 或 UNIX Socket 的抽象。net.Socket 实例实现了一个双工流接口。他们可以在用户创建客户端(使用 connect())时使用, 或者由 Node 创建它们，并通过 connection 服务器事件传递给用户。项目是建立一个服务端，所以没有使用net.Socket，按下不表。

项目注意点

从设计的角度看，为了节省空间，如果是表示数值（Int，Float），都是发送的byte内容对应数值，举个栗子，一个三位数123，我们实际用的8位一个字节就能表达出，但是如果用ASCII码对应的字符表示，就需要三个Bytes。所以我们的socket内容如果需要用字符串表达，那么就需要转换成char。总结一下：

String类型：

var str_crossid = new String();
str_crossid = String.fromCharCode(data[i]);

Int类型：

这里有个坑，因为它是用2 Bytes表示的，所以要考虑真实数值对应2个byte的计算关系，高八位就要×2^8的权值。还需要考虑大端小端模式的。

var interval = data[14]+data[15]*256;

Float类型：

参考资料：

浮点数据就是按下表的格式存储在4个字节中：
Address+0 Address+1 Address+2 Address+3
Contents SEEE EEEE EMMM MMMM MMMM MMMM MMMM MMMM S: 表示浮点数正负，1为负数，0为正数
E: 指数加上127后的值的二进制数
M: 24-bit的底数（只存储23-bit）
[http://wiki.jikexueyuan.com/project/nodejs/buffer.html]

代码：

buffer_instance.readFloatLE(0);

Date类型：

String.fromCharCode(data[i]); //还原原格式
var date_time = new Date(str_date_time); //ISO format

附：接收的数据

image.png

处理后的数据

image.png

17/06/2017 更新

加了一个应用层的加总异或校验
关于数据包，数据报，帧
https://segmentfault.com/a/1190000008449308
所以在车流量项目，是（很少见的？）多数据包一个帧，说更精确的话就是多个数据包负载一个帧。

负载——也称为数据包正文或数据。这是数据包向目的地发送的实际数据。

防止低八位溢出，低八位变负数，将：

var interval = data[14]+data[15]*256;

更改为：

 var buf_interval = new Buffer(2);
            for(var i = 0; i<=1; i++){
                buf_interval[i] = data[14+59*k+i]; 
            }
            console.log('-interval: '+buf_interval.readUInt16LE(0));

然而实际测试过程两种写法结果一样。且16位范围上限是2^15-1。

22/06/2017更新

对可能的多负载加入num_packet, 用来区分不同的packet payload，因为我们的存储是以单个数据包payload为单位的。
借助mongoose将数据用定义好的Schema转化为Json格式并存储。

23/06/2017更新

prototype的用法：实例方法
User.save = function(){......}
是这样调用的：
User.save()
User.prototype.save = function(){.......} 是这样调用的：

var user = new User();
user.save();

10/07/2017更新

实现3个新功能:
1.与设备测试提出一个问题：就是如何保证不重复存车数据。了解后使用LaneNo和DateTime决定一个复合唯一索引。即，只是LaneNo或者DateTime相同，依旧存储。仅仅当数据库已存数据与新数据二属性值均相同，才拒绝存储。
Mongo shell:

Unique Compound Index[]：
You can also enforce a unique constraint on [compound indexes]db.collection.createIndex( { a: 1, b: 1 }, { unique: true } )

node代码:

FlowSchema.index({"CrossTrafficData.DateTime":1,"CrossTrafficData.DataList.Data.LaneNo":1},{unique: true});

2.保存浮点数保留两位小数

 AveQueueLength: buf_ave_ql.readFloatLE(0).toFixed(2)

3.回复数据包头

        buf_packetInfo.writeUIntLE(0x2, 0, 4);
            var res_sec = Buffer.concat([buf_crossid, buf_packet_type, buf_packetInfo]);
            socket.write(res_sec);
        }

第一句表示写入2，表示接收成功。
第二句合并包头各个组成