2023 年 MQTT 协议的 7 个技术趋势｜描绘物联网的未来
本文作者
zaiming(stone)shi:emqx 欧洲研发中心负责人,拥有多年大规模分布式 mqtt 消息系统开发经验,致力于与 emq 斯德哥尔摩研发团队一起将 emqx 打造成为全球最优秀的 mqtt broker。
mqtt 是物联网消息传输标准协议,其采用极其轻量级的发布订阅消息模型,以可扩展、可靠且高效的方式连接物联网设备。
自 1999 年 ibm 发布 mqtt 以来已经过去了二十多年,而自 2012 年 emq 在 github 上发布开源 mqtt 消息服务器 emqx,也已经过去了十年。如今,我们来到了各类新兴技术飞速进步的 2023 年,随着 mqtt 在物联网中的使用规模不断增长,场景更加多样化,我们可以预见在 mqtt 技术领域中将会出现以下 7 个发展趋势。
mqtt over quic
quic(quick udp internet connections)是由 google 开发的一种新的传输协议,运行于 udp 之上,旨在减少建立新连接所带来的延迟,提高数据传输速率,并解决 tcp 的一些限制。
下一代互联网协议 http/3 使用了 quic 作为底层传输协议,为网络应用带来了比 http/2 更低的时延和更好的加载体验。
mqtt over quic是自 2017 年 mqtt 5.0 规范发布以来 mqtt 协议中最具创新性的进展。凭借多路复用、更快的连接建立和迁移等优势特性,其具有成为下一代 mqtt 协议标准的潜力。
mqtt 5.0 定义了三种传输类型:tcp、tls 和 websocket。在物联网安全最佳实践中,mqtt over tls/ssl 广泛用于生产环境以保护客户端和 broker 之间的通信。然而它速度慢、延迟高,需要 3.5 个 rtt,即 tcp 3 次握手以及 tls 4 次握手才能建立新的mqtt 连接。
与 mqtt over tls/ssl 相比,mqtt over quic 更快且延迟更低,在初次建立连接时仅需 1 rtt,并可以利用 0 rtt 连接恢复的特性来加速重连。quic 协议栈可以针对各种用例进行定制,例如在不稳定网络环境下,或是客户端到服务器更低延迟通信的场景。它能够在诸如移动网络下的车联网(iov)以及要求极低时延的工业物联网(iiot)场景下发挥重要作用,并有效提升其使用体验。
开源 mqtt 消息服务器 emqx 在其最新的 5.0 版本中引入了 mqtt over quic 支持,是全球首个支持 mqtt over quic 的 mqtt 消息服务器。目前 emq 正以 oasis mqtt 技术委员会成员身份积极推进 mqtt over quic 的标准化落地,可以预见在不久的将来,mqtt 也将和 http/3 一样使用 quic 作为其主要传输层。
mqtt serverless
云计算中 serverless 模式的兴起标志着应用的设计、开发、部署和运行方式发生了突破性的范式转变。这种模式下开发者将能够专注于应用的业务逻辑,无需管理基础设施,从而提高敏捷性、可扩展性和成本效益。
serverless 模式的 mqtt 消息服务器将是 2023 年的一种前沿架构创新。传统的物联网应用需要数分钟甚至数小时才能在云上或在企业私有环境中部署 mqtt 消息服务,相比之下,serverless mqtt 只需点击几下就能快速完成 mqtt 服务的部署。
除了极快的部署速度,serverless mqtt 更大的价值在于其无可比拟的灵活性:根据用户需求对资源进行无缝扩展,以及与这种弹性架构相匹配的按量计费定价模式。serverless mqtt 有望推动 mqtt 更广泛的应用,降低运营成本,激发不同行业的创新协作。我们甚至可能看到每个物联网和工业物联网开发者都能拥有一个免费的 serverless mqtt 消息服务器。
2023 年 3 月,emqx cloud 推出了全球首个 serverless mqtt 服务,为用户提供了 5 秒极速部署和更灵活的计费方式,帮助用户以更低的成本高效开发物联网应用。
mqtt 多租户架构
多租户架构是实现 serverless mqtt 服务的一个重要基础。来自不同用户或租户的物联网设备可以连接到同一个大规模的 mqtt 集群,同时保持其数据和业务逻辑与其他租户隔离。
在 saas 应用中多租户架构很常见,即一个应用为多个客户或租户服务。其通常有两种以下不同的实现方式:
租户隔离: 向每个租户提供一个单独的应用实例,在服务器或虚拟机上运行。
数据库隔离: 多个租户共享一个应用实例,但每个租户有自己的数据库模式,以确保数据隔离。
在 mqtt broker 的多租户架构中,每个设备和租户都有一个单独的、隔离的命名空间,包括一个独特的主题前缀和访问控制列表(acl),用来定义用户可以发布或订阅哪些主题。
多租户 mqtt 消息服务器能够减少管理开销,并灵活支持复杂场景或大规模物联网应用场景。例如,一个大型组织中的部门和应用可以作为不同的租户使用同一个 mqtt 集群。
mqtt sparkplug 3.0
mqtt sparkplug 是由 eclipse 基金会设计的开放标准规范,其最新版本为 mqtt sparkplug 3.0,它定义了工业设备的统一数据接入规范,能够通过 mqtt 协议连接各类工业传感器、动作执行器、可编程逻辑控制器(plc)和网关。
mqtt sparkplug 3.0 于 2022 年 11 月发布,具有以下关键的新功能和改进:
mqtt 5.0 支持:增加了对 mqtt 5.0 的支持,包括共享订阅、消息过期和流量控制等新功能。
优化的数据传输:对数据传输进行了优化,使用更紧凑的数据编码和压缩算法。
扩展的数据模型:引入了一个扩展的数据模型,它允许更详细的设备信息通信,还支持配置数据和设备元数据等其他信息的传输。
更高的安全性:包括对安全性的若干改进,如支持双向 tls 认证、优化的访问控制机制等。
简化的设备管理:包括自动设备注册和发现,简化设备配置,以及改进诊断等。
mqtt sparkplug 旨在简化不同工业设备间的连接和通信,实现高效的工业数据采集、处理和分析。随着新版本的发布,mqtt sparkplug 3.0 将会在工业物联网领域得到更广泛的应用。
mqtt 统一命名空间
统一命名空间(unified namespace)是一个建立在面向工业物联网和工业 4.0 的mqtt broker上的解决方案架构。它为 mqtt 主题提供了一个统一的命名空间,并为消息和结构化数据提供了一个集中的存储库。
统一命名空间使用中央 mqtt broker ,以星形拓扑结构连接工业设备、传感器和应用程序,如 scada、mes 和 erp。统一命名空间以事件驱动的架构极大简化了工业物联网应用的开发。
在传统的工业物联网系统中,ot 和 it 系统通常是分开的,其数据、协议和工具均独立运行。通过采用统一命名空间,可以让 ot 和 it 系统更有效地交换数据,最终实现物联网时代 ot 和 it 的统一。
如今,通过 emq 提供的开源 mqtt 消息服务器 emqx或nanomq,结合工业协议网关软件 neuron,用户将可以构建一个由 it 界最先进技术支持的统一命名空间架构。
mqtt 跨域集群
mqtt 跨域集群(mqtt geo-distribution)是一个创新架构,允许部署在不同地区或云上的 mqtt broker 作为一个单集群一起工作。通过跨域集群,mqtt 消息可以在不同地区的 mqtt broker 之间自动同步和传输。
有两种方法可以实现 mqtt 跨域集群:
单集群,多地区: 单个 mqtt 集群,每个节点在不同地区运行。
多集群,多云: 分布在不同云中的多个 mqtt 集群连接在一起。
我们可以将这两种方法结合,在跨区域部署的 mqtt broker 之间创建一个可靠的物联网数据基础设施。通过 mqtt 跨域集群,企业可以建立一个跨多云的全球 mqtt 接入网络。不管所处的物理位置在哪里,设备和应用都能从最近的节点接入实现相互通信。
mqtt streams
mqtt streams 是 mqtt 协议备受期待的一项扩展能力,能够在 mqtt broker 内实时处理海量、高频的数据流。这在发布订阅模式消息传输的基础上进一步增强了传统 mqtt broker 的能力。通过 mqtt streams,客户端可以像 apache kafka 一样将 mqtt 消息以流的形式进行生产和消费,从而实现历史消息回放。这对事件驱动的处理尤为重要,可以确保最终的数据一致性、可审计和合规性。
流处理对于从物联网设备产生的大量数据中实时挖掘商业价值至关重要。以前,这一过程通过一个过时且复杂的大数据堆栈实现,需要 mqtt broker 与 kafka、hadoop、flink 或 spark 进行集成。
而通过内置的流处理,mqtt streams 简化了物联网数据处理架构,提高了数据处理效率和响应时间,并为物联网提供了一个统一的消息传递和流处理平台。通过消息去重、消息重放和消息过期等功能,mqtt streams 实现了高吞吐量、低时延和容错,使其成为基于 mqtt 的物联网应用中实时数据流处理的强大工具。
结语
总的来说,mqtt 的这 7 个技术趋势反映了新兴技术的进步以及它们在推动物联网发展进程中的重要作用。
作为一个发展了二十多年的标准消息传输协议,mqtt 的重要性正在持续增长。随着物联网在各行业被越来越广泛地应用,mqtt 协议也在不断发展以应对新的挑战,满足更低延迟的连接、更便捷的 mqtt 服务部署、复杂场景或大规模物联网应用下灵活管理以及工业设备接入的需求。作为庞大物联网的神经系统,在 2023 年及更远的未来,mqtt 必将在工业物联网和车联网等关键领域中发挥重要作用。
首张国产游戏显卡问世，国产GPU又迈进一大步！
cd4047引脚图及其各脚功能说明
LG显示广州新工厂预计每月可制造13万块OLED板
全球70%的数字化转型都败在哪里了？
采用ATPAK封装功率MOSFET在开关器件设计中的应用
2023 年 MQTT 协议的 7 个技术趋势｜描绘物联网的未来
GPIO内部结构及输入输出模式
人工智能与智能硬件将结合发展
12-24V输入定压DC/DC电源，强带载能力的国产电源
不一定了解的USB4.0
从结构特点性能三个方面比较永磁同步电机与异步电机
华为P10配置强悍曝光 华为P9价格滑铁卢
1n4007分正负极吗？1n4007正负极判断方法
用于检测并筛选疾病生物标志物的液滴微流控技术
提出多目标最优化方法 进而产生柏雷多最优电动汽车充电策略
智齿智能外呼机器人 金融电话销售实战案例
无刷直流电机驱动芯片的特点及功能描述
TE将传感技术应用于智能燃气表中
通用汽车将着力于次世代车款自驾车及电动车发展
板载电源设计需遵循哪些要求规范
zaiming(stone)shi:emqx 欧洲研发中心负责人,拥有多年大规模分布式 mqtt 消息系统开发经验,致力于与 emq 斯德哥尔摩研发团队一起将 emqx 打造成为全球最优秀的 mqtt broker。
mqtt 是物联网消息传输标准协议,其采用极其轻量级的发布订阅消息模型,以可扩展、可靠且高效的方式连接物联网设备。
自 1999 年 ibm 发布 mqtt 以来已经过去了二十多年,而自 2012 年 emq 在 github 上发布开源 mqtt 消息服务器 emqx,也已经过去了十年。如今,我们来到了各类新兴技术飞速进步的 2023 年,随着 mqtt 在物联网中的使用规模不断增长,场景更加多样化,我们可以预见在 mqtt 技术领域中将会出现以下 7 个发展趋势。
mqtt over quic
quic(quick udp internet connections)是由 google 开发的一种新的传输协议,运行于 udp 之上,旨在减少建立新连接所带来的延迟,提高数据传输速率,并解决 tcp 的一些限制。
下一代互联网协议 http/3 使用了 quic 作为底层传输协议,为网络应用带来了比 http/2 更低的时延和更好的加载体验。
mqtt over quic是自 2017 年 mqtt 5.0 规范发布以来 mqtt 协议中最具创新性的进展。凭借多路复用、更快的连接建立和迁移等优势特性,其具有成为下一代 mqtt 协议标准的潜力。
mqtt 5.0 定义了三种传输类型:tcp、tls 和 websocket。在物联网安全最佳实践中,mqtt over tls/ssl 广泛用于生产环境以保护客户端和 broker 之间的通信。然而它速度慢、延迟高,需要 3.5 个 rtt,即 tcp 3 次握手以及 tls 4 次握手才能建立新的mqtt 连接。
与 mqtt over tls/ssl 相比,mqtt over quic 更快且延迟更低,在初次建立连接时仅需 1 rtt,并可以利用 0 rtt 连接恢复的特性来加速重连。quic 协议栈可以针对各种用例进行定制,例如在不稳定网络环境下,或是客户端到服务器更低延迟通信的场景。它能够在诸如移动网络下的车联网(iov)以及要求极低时延的工业物联网(iiot)场景下发挥重要作用,并有效提升其使用体验。
开源 mqtt 消息服务器 emqx 在其最新的 5.0 版本中引入了 mqtt over quic 支持,是全球首个支持 mqtt over quic 的 mqtt 消息服务器。目前 emq 正以 oasis mqtt 技术委员会成员身份积极推进 mqtt over quic 的标准化落地,可以预见在不久的将来,mqtt 也将和 http/3 一样使用 quic 作为其主要传输层。
mqtt serverless
云计算中 serverless 模式的兴起标志着应用的设计、开发、部署和运行方式发生了突破性的范式转变。这种模式下开发者将能够专注于应用的业务逻辑,无需管理基础设施,从而提高敏捷性、可扩展性和成本效益。
serverless 模式的 mqtt 消息服务器将是 2023 年的一种前沿架构创新。传统的物联网应用需要数分钟甚至数小时才能在云上或在企业私有环境中部署 mqtt 消息服务,相比之下,serverless mqtt 只需点击几下就能快速完成 mqtt 服务的部署。
除了极快的部署速度,serverless mqtt 更大的价值在于其无可比拟的灵活性:根据用户需求对资源进行无缝扩展,以及与这种弹性架构相匹配的按量计费定价模式。serverless mqtt 有望推动 mqtt 更广泛的应用,降低运营成本,激发不同行业的创新协作。我们甚至可能看到每个物联网和工业物联网开发者都能拥有一个免费的 serverless mqtt 消息服务器。
2023 年 3 月,emqx cloud 推出了全球首个 serverless mqtt 服务,为用户提供了 5 秒极速部署和更灵活的计费方式,帮助用户以更低的成本高效开发物联网应用。
mqtt 多租户架构
多租户架构是实现 serverless mqtt 服务的一个重要基础。来自不同用户或租户的物联网设备可以连接到同一个大规模的 mqtt 集群,同时保持其数据和业务逻辑与其他租户隔离。
在 saas 应用中多租户架构很常见,即一个应用为多个客户或租户服务。其通常有两种以下不同的实现方式:
租户隔离: 向每个租户提供一个单独的应用实例,在服务器或虚拟机上运行。
数据库隔离: 多个租户共享一个应用实例,但每个租户有自己的数据库模式,以确保数据隔离。
在 mqtt broker 的多租户架构中,每个设备和租户都有一个单独的、隔离的命名空间,包括一个独特的主题前缀和访问控制列表(acl),用来定义用户可以发布或订阅哪些主题。
多租户 mqtt 消息服务器能够减少管理开销,并灵活支持复杂场景或大规模物联网应用场景。例如,一个大型组织中的部门和应用可以作为不同的租户使用同一个 mqtt 集群。
mqtt sparkplug 3.0
mqtt sparkplug 是由 eclipse 基金会设计的开放标准规范,其最新版本为 mqtt sparkplug 3.0,它定义了工业设备的统一数据接入规范,能够通过 mqtt 协议连接各类工业传感器、动作执行器、可编程逻辑控制器(plc)和网关。
mqtt sparkplug 3.0 于 2022 年 11 月发布,具有以下关键的新功能和改进:
mqtt 5.0 支持:增加了对 mqtt 5.0 的支持,包括共享订阅、消息过期和流量控制等新功能。
优化的数据传输:对数据传输进行了优化,使用更紧凑的数据编码和压缩算法。
扩展的数据模型:引入了一个扩展的数据模型,它允许更详细的设备信息通信,还支持配置数据和设备元数据等其他信息的传输。
更高的安全性:包括对安全性的若干改进,如支持双向 tls 认证、优化的访问控制机制等。
简化的设备管理:包括自动设备注册和发现,简化设备配置,以及改进诊断等。
mqtt sparkplug 旨在简化不同工业设备间的连接和通信,实现高效的工业数据采集、处理和分析。随着新版本的发布,mqtt sparkplug 3.0 将会在工业物联网领域得到更广泛的应用。
mqtt 统一命名空间
统一命名空间(unified namespace)是一个建立在面向工业物联网和工业 4.0 的mqtt broker上的解决方案架构。它为 mqtt 主题提供了一个统一的命名空间,并为消息和结构化数据提供了一个集中的存储库。
统一命名空间使用中央 mqtt broker ,以星形拓扑结构连接工业设备、传感器和应用程序,如 scada、mes 和 erp。统一命名空间以事件驱动的架构极大简化了工业物联网应用的开发。
在传统的工业物联网系统中,ot 和 it 系统通常是分开的,其数据、协议和工具均独立运行。通过采用统一命名空间,可以让 ot 和 it 系统更有效地交换数据,最终实现物联网时代 ot 和 it 的统一。
如今,通过 emq 提供的开源 mqtt 消息服务器 emqx或nanomq,结合工业协议网关软件 neuron,用户将可以构建一个由 it 界最先进技术支持的统一命名空间架构。
mqtt 跨域集群
mqtt 跨域集群(mqtt geo-distribution)是一个创新架构,允许部署在不同地区或云上的 mqtt broker 作为一个单集群一起工作。通过跨域集群,mqtt 消息可以在不同地区的 mqtt broker 之间自动同步和传输。
有两种方法可以实现 mqtt 跨域集群:
单集群,多地区: 单个 mqtt 集群,每个节点在不同地区运行。
多集群,多云: 分布在不同云中的多个 mqtt 集群连接在一起。
我们可以将这两种方法结合,在跨区域部署的 mqtt broker 之间创建一个可靠的物联网数据基础设施。通过 mqtt 跨域集群,企业可以建立一个跨多云的全球 mqtt 接入网络。不管所处的物理位置在哪里,设备和应用都能从最近的节点接入实现相互通信。
mqtt streams
mqtt streams 是 mqtt 协议备受期待的一项扩展能力,能够在 mqtt broker 内实时处理海量、高频的数据流。这在发布订阅模式消息传输的基础上进一步增强了传统 mqtt broker 的能力。通过 mqtt streams,客户端可以像 apache kafka 一样将 mqtt 消息以流的形式进行生产和消费,从而实现历史消息回放。这对事件驱动的处理尤为重要,可以确保最终的数据一致性、可审计和合规性。
流处理对于从物联网设备产生的大量数据中实时挖掘商业价值至关重要。以前,这一过程通过一个过时且复杂的大数据堆栈实现,需要 mqtt broker 与 kafka、hadoop、flink 或 spark 进行集成。
而通过内置的流处理,mqtt streams 简化了物联网数据处理架构,提高了数据处理效率和响应时间,并为物联网提供了一个统一的消息传递和流处理平台。通过消息去重、消息重放和消息过期等功能,mqtt streams 实现了高吞吐量、低时延和容错,使其成为基于 mqtt 的物联网应用中实时数据流处理的强大工具。
结语
总的来说,mqtt 的这 7 个技术趋势反映了新兴技术的进步以及它们在推动物联网发展进程中的重要作用。
作为一个发展了二十多年的标准消息传输协议,mqtt 的重要性正在持续增长。随着物联网在各行业被越来越广泛地应用,mqtt 协议也在不断发展以应对新的挑战,满足更低延迟的连接、更便捷的 mqtt 服务部署、复杂场景或大规模物联网应用下灵活管理以及工业设备接入的需求。作为庞大物联网的神经系统,在 2023 年及更远的未来,mqtt 必将在工业物联网和车联网等关键领域中发挥重要作用。
首张国产游戏显卡问世，国产GPU又迈进一大步！
cd4047引脚图及其各脚功能说明
LG显示广州新工厂预计每月可制造13万块OLED板
全球70%的数字化转型都败在哪里了？
采用ATPAK封装功率MOSFET在开关器件设计中的应用
2023 年 MQTT 协议的 7 个技术趋势｜描绘物联网的未来
GPIO内部结构及输入输出模式
人工智能与智能硬件将结合发展
12-24V输入定压DC/DC电源，强带载能力的国产电源
不一定了解的USB4.0
从结构特点性能三个方面比较永磁同步电机与异步电机
华为P10配置强悍曝光 华为P9价格滑铁卢
1n4007分正负极吗？1n4007正负极判断方法
用于检测并筛选疾病生物标志物的液滴微流控技术
提出多目标最优化方法 进而产生柏雷多最优电动汽车充电策略
智齿智能外呼机器人 金融电话销售实战案例
无刷直流电机驱动芯片的特点及功能描述
TE将传感技术应用于智能燃气表中
通用汽车将着力于次世代车款自驾车及电动车发展
板载电源设计需遵循哪些要求规范