Boss的需求
-
今天接到新的需求，Boss让去了结下物联网协议，我就老老实实的花了一天多时间去全方位的去调研并写了一个简单的汇总报告，并着重提到MQTT和COAP协议，因为很多第三方（腾讯、阿里等）物联网平台都用这两个协议，下面就是总结报告大纲，当然这只是物联网协议的一部分。
image.png 以为报告上去Boss考虑下会选择第三方比较成熟的物联网平台，比如腾讯什么的就可以了，万万没想到报告刚提上去不久就两个小时，这下Boss又找我有新的需求了，让我去设计一个物联网协议，需要兼容腾讯和阿里的MQTT和COAP，前期可以用第三方的平台，后面我们可以自己搭建一个，但是又要和他们的不一样 ，这样别人截取到我们的数据也不那么容易解析出来，但是又要非常小，因为要在单片机上面通信使用，又需要考虑怎么鉴权认证识别，那么我就只有再次挑战自己了，看看怎么让自己得到进一步得升华
因为我大部分时间是做手机端的开发，熟悉Http、Https 协议，对物联网协议了解不多，这下不但要了解更多的物联网协议并且还需要做进一步改进，刚听到要我自己设计一个协议，作为移动APP开发人员还是有点懵逼，但是对于新的挑战还是要迎难而上，于是乎第一步需要做出合理的规划，不然方向错了一周过去了什么成果都没有，那就尴尬了。
规划
- 第一步：先得去更深入的了解自己熟悉的协议，看看他们是怎么设计的，能否参考借鉴，这里我就选取了Http和Https协议。
- 第二步：深入的了解物联网协议，我决定选择MQTT和COAP 协议进行深入研究
- 第三步：用什么方式验证，本来想有公共的MQTT、COAP协议的工具，这我暂时想到了用公共的工具或者自己写程序来验证，现在还没有拿定用什么来验证，先走到这里再看。
- 第三步：搭建一个MQTT的服务端，写程序或者用工具验证MQTT能跑通（发布、订阅），然后在MQTT协议上面做改进，验证通信并解析数据发布、订阅能跑起来
- 第三步：申请腾讯、阿里的物联网平台，把自己设计的协议进行提交到他们的平台，看看他们的平台能否解析。
第一步 网络基础知识
万丈高楼从地起，很多虽然很简单的东西，我也要再次走一遍，不漏掉任何一部分。
网络分层模型
image.png
image.png
image.png
数据传输方式
- 全双工允许数据在两个方向上同时传输。（电话）
- 半双工允许数据在两个方向上传输，但是同一时间数据只能在一个方向上传输，实际上是切换的单工。（对讲机）
- 单工：数据只能在一个方向上传输（打印机）
IP地址
- IP地址就是标识网络中设备的一个地址，IPv4 是由点分十进制组成，IPv6 是由冒号十六进制组成
- IP 地址的作用是标识网络中唯一的一台终端设备，通过IP地址能够找到网络中某台设备
- 域名是 ip 地址的别名，通过域名能解析出一个对应的ip地址
- 本机域名是localhost ，对应的IP地址是127.0.0.1，如果和自己的电脑通信就可以使用该地址
- 检查网络是否正常使用 ping 命令
image.png
端口和端口号
- 端口：通过IP可以找到某一台设备，设备上的有不同的程序，如果要不同体程序进行通信就需要找到各个程序的入口，这个入口就叫端口。
- 端口号：端口号就类似于程序的门牌号，通过这个门牌号就能找到对程序， 程序启动的时候系统就会分配端口号
- 固定端口号是指众所周知的端口号，范围从0到1023,这些端口号一般固定分配给一些服务,比如21端口分配给FTP服务，25端口分配给SMTP（服务，80端口分配给HTTP服务。
- 动态端口号是开发序员开发应用程序使用端口号称为动态端口号, 范围是从1024到65535
TCP协议
- 两个设备的程序进行相互通信时，为了使双方能解析或读懂对方的信息，需要规划一个传输协议，保证程序之间按照指定的传输规则进行数据的通信， 在传输层有两个协议，其中就有一个是 TCP
-
TCP是全双工面向连接的超文本传输协议，TCP 采用发送应答机制、超时重传、错误校验、流量控制等特点
image.png
image.png
UDP协议
- UDP协议是全双工无连接，不可靠传输，面向数据报
- 无连接：知道对端的IP和端口号就直接进行传输，不需要建立连接；
- 不可靠传输：没有任何安全机制，发送端发送数据报以后，如果因为网络故障该段无法发到对方，UDP协议层也不会给应用层返回任何错误信息；
- 面向数据报：应用层交给UDP多长的报文，UDP原样发送，既不会拆分，也不会合并；
- 全双工：UDP允许通信双方的应用进程在任何时候都能发送数据，UDP的socket既能读，也能写
Socket
- socket (简称 套接字) 是进程之间通信一个工具,进程之间想要进行网络通信需要基于这个 socket
- 好比现实生活中的插座，所有的家用电器要想工作都是基于插座进行
- socket 主要负责进程之间的网络数据传输，好比数据的搬运工
- 当创建一个socket对象的时候会有一个发送缓冲区和一个接收缓冲区，这个发送和接收缓冲区指的就是内存中的一片空间
- 发送数据是发送到发送缓冲区，接收数据是从接收缓冲区 获取，操作系统控制网卡把收发缓冲区的数据
image.png
image.png
image.png
image.png
TCP 网络应用程序
image.png
- TCP 服务端
//Socket服务端
public class Socket_Serverextends Thread {
private ServerSocketserverSocket;
public Socket_Server(int port) throws IOException { //创建非绑定服务器套接字套接字
serverSocket = new ServerSocket(port); //服务器应用程序对象，侦听客户端请求
serverSocket.setSoTimeout(10000); //设置连接超时时间
}
public void run() {
while (true) {
try {
System.out.println("等待远程连接，端口为：" + serverSocket.getLocalPort());//获取本地端口
Socket server = serverSocket.accept();//通过accept()获取一个Socket对象
System.out.println("远程主机地址为：" + server.getRemoteSocketAddress());//获取远程主机地址
DataInputStream in = new DataInputStream(server.getInputStream());//声明数据输入流对象，读入数据
System.out.println(in.read());
DataOutputStream out = new DataOutputStream(server.getOutputStream());//声明数据输出流对象，写出数据
out.writeUTF("主机号为:" + server.getRemoteSocketAddress() + "连接成功");
} catch (SocketTimeoutException s) {
System.out.println("Socket time out");
break;
} catch (IOException i) {
i.printStackTrace();
break;
}
}
}
public static void main(String args[]) {
int port = Integer.parseInt(args[0]);
try {
Thread t = new Socket_Server(port);
t.run();
} catch (IOException i) {
i.printStackTrace();
}
}
}
TCP客户端
public class Socket_Client {
public static void main(String args[]) {
String serverName = args[0];
int port = Integer.parseInt(args[1]);
try {
System.out.println("连接到主机：" + serverName + ",端口号：" + port);
Socket client = new Socket(serverName, port); //创建套接字
System.out.println("远程主机地址：" + client.getRemoteSocketAddress());
OutputStream outToServer = client.getOutputStream(); //输出流写出数据（返回此套接字的输出流）
DataOutputStream out = new DataOutputStream(outToServer);//声明数据输出流对象，写出数据
// 按照UTF-8写入(UTF8变长，开头2字节是由writeUTF函数写入的长度信息，方便readUTF函数读取)
out.writeUTF("Hello from" + client.getRemoteSocketAddress());
InputStream inFromServer = client.getInputStream();//输入流读入数据（返回此套接字的输入流）
DataInputStream in = new DataInputStream(inFromServer);//声明数据输入流对象，读入数据
System.out.println("服务器响应:" + in.readUTF());//读取由writeUTF函数写入的信息
client.close();
} catch (IOException i) {
i.printStackTrace();
}
}
UDP应用程序
image.png
- UDP 服务端
public class ToUpperUDPServer {
//服务器IP
public static final String SERVER_IP = "127.0.0.1";
//服务器端口号
public static final int SERVER_PORT = 10005;
//最多处理1024个字符
public static final int MAX_BYTES = 1024;
//UDP使用DatagramSocket发送数据包
private DatagramSocket serverSocket;
/***
* 启动服务器
* @param 服务器监听的端口号，服务器ip无需指定，系统自动分配
*/
public void startServer(String serverIp, int serverPort) {
try {
//创建DatagramSocket
InetAddress serverAddr = InetAddress.getByName(serverIp);
serverSocket = new DatagramSocket(serverPort, serverAddr);
//创建接收数据的对象
byte[] recvBuf = new byte[MAX_BYTES];
DatagramPacket recvPacket = new DatagramPacket(recvBuf , recvBuf.length);
//死循环，一直运行服务器
while (true) {
//接收数据，会在这里阻塞，直到有数据到来
try {
serverSocket.receive(recvPacket);
} catch (IOException e) {
e.printStackTrace();
}
String recvStr = new String(recvPacket.getData(), 0, recvPacket.getLength());
//拿到対端的ip和端口
InetAddress clientAddr = recvPacket.getAddress();
int clientPort = recvPacket.getPort();
//回传数据
String upperString = recvStr.toUpperCase();
byte[] sendBuf = upperString.getBytes();
DatagramPacket sendPacket = new DatagramPacket(sendBuf, sendBuf.length, clientAddr, clientPort);
try {
serverSocket.send(sendPacket);
} catch (IOException e) {
e.printStackTrace();
}
}
} catch (SocketException e) {
e.printStackTrace();
} catch (UnknownHostException e2) {
e2.printStackTrace();
} finally {
//记得关闭Socket
if (null != serverSocket) {
serverSocket.close();
serverSocket = null;
}
}
}
public static void main(String[] args) {
ToUpperUDPServer server = new ToUpperUDPServer();
server.startServer(SERVER_IP, SERVER_PORT);
}
}
- UDP 客户端
public class ToUpperUDPClient {
private DatagramSocket clientSocket;
public String toUpperRemote(String serverIp, int serverPort, String str) {
String recvStr = "";
try {
//创建UDP Socket
clientSocket = new DatagramSocket();
//向服务器发送数据
byte[] sendBuf;
sendBuf = str.getBytes();
InetAddress serverAddr = InetAddress.getByName(serverIp);
DatagramPacket sendPacket
= new DatagramPacket(sendBuf ,sendBuf.length , serverAddr , serverPort);
try {
clientSocket.send(sendPacket);
} catch (IOException e) {
e.printStackTrace();
}
//接收服务器的响应
byte[] recvBuf = new byte[ToUpperUDPServer.MAX_BYTES];
DatagramPacket recvPacket
= new DatagramPacket(recvBuf , recvBuf.length);
try {
clientSocket.receive(recvPacket);
} catch (IOException e) {
e.printStackTrace();
}
//显示响应
recvStr = new String(recvPacket.getData() , 0 ,recvPacket.getLength());
} catch (SocketException e1) {
e1.printStackTrace();
} catch (UnknownHostException e2) {
e2.printStackTrace();
} finally {
if (null != clientSocket) {
clientSocket.close();
clientSocket = null;
}
}
return recvStr;
}
public static void main(String[] args) {
ToUpperUDPClient client = new ToUpperUDPClient();
String recvStr = client.toUpperRemote(ToUpperUDPServer.SERVER_IP, ToUpperUDPServer.SERVER_PORT, "aaaAAAbbbBBBcccCCC");
System.out.println("收到:" + recvStr);
}
}
