安全态势感知专家说第4期：SIEM驱动安全运营
发展历程 siem（security information and event management，安全信息与事件管理）是安全运营中心最重要的组成部分之一，对安全运营有所了解的读者应该对它都不陌生。随着国内的安全运营逐步从粗放型转向业务与技术双轮驱动的精细化运营，siem产品也在这个过程中得到了持续发展。下面，我们将结合安全运营中心的演进过程介绍一下siem的发展史。企业面临的主要风险与安全运营中心的演进过程如下图所示。
萌芽阶段 安全运营中心诞生于2000年以前。当时，计算机病毒、特洛伊木马和恶意软件大爆发，并在计算机网络间传播，给信息安全造成了严重破坏。这个时期，为了构建安全防御体系，防火墙、防病毒系统、ids（intrusion detection system，入侵检测系统）和漏洞扫描系统等各式各样的新技术应运而生。其中，ids注重网络入侵检测，在这个时期发挥了重要作用。
安全运营中心的萌芽阶段主要以防御为主。企业和组织开始制定基于漏洞修复的管理流程，并通过脚本、入侵检测系统的控制台和其他自主开发的工具来初步分析安全事件。运营人员使用sim（security information management，安全信息管理）产品收集it网络资源、各类安全产品产生的日志等信息，并进行关联分析，从海量信息中分析出有价值的安全事件。同时，更关注实时事件监控和应急处理的sem（security event management，安全事件管理）产品也开始逐渐出现。sim和sem的出现，标志着siem技术的萌芽。
成长阶段 安全运营中心在2010年前后快速发展。随着互联网技术的进一步发展，恶意软件从具有破坏性的僵尸、木马、蠕虫开始转向有针对性的攻击，并逐渐形成了黑客产业。企业和组织开始意识到，即使部署了防御性的安全技术，网络入侵也不可避免会发生。基于此，企业和组织将安全运营的工作重点从入侵的检测转向信息泄露的检测、防御与阻断。然而，sim和sem产品仍然各自为政、缺乏联动，难以形成有价值的、全面系统的安全态势分析报告，也就难以应对复杂多变的安全威胁。一小部分中小型企业开始构建siem系统，用于监测网络流量、安全设备日志、服务器日志与终端日志，同时建设应急处理流程，并利用大数据技术实现安全态势感知。
2005年，全球it研究与顾问咨询机构gartner首次将sim和sem整合到一起，明确提出了siem的概念，为安全运营揭开了新的篇章。gartner对siem的定义是：“siem技术通过收集和分析安全事件以及各种其他事件和上下文数据源，支持威胁检测、合规性和安全事件管理。核心功能是广泛的日志收集和管理、跨不同来源分析日志和其他数据的能力，以及运营能力（例如事件管理、仪表板和报告）。”
成熟阶段 第三代安全运营中心诞生于2020年前后，并且仍在不断发展中。这个时期的网络威胁呈指数级增长，典型的如apt攻击，通常由特定组织对特定对象展开持续的攻击，具有极强的隐蔽性和针对性。apt攻击通常会综合利用受感染的移动存储设备、供应链攻击和社会工程学等多种手段，复杂性更高，威胁更强。随着大数据和人工智能等新技术的应用，网络攻击开始向智能化、自动化、服务化趋势蔓延，并日趋复杂。
在这个背景下，网络安全标准组织和合规性工作也在不断推进安全产品和实践的发展，各个企业和组织都在争先恐后地寻找降低网络安全风险和限制攻击影响的最佳方法。安全运营开始从被动防御转变为主动防御，更注重从防御、检测、响应和预测四个维度构建网络安全体系，安全运营“闭环”的概念也随之形成。安全运营中心开始走向更加体系化的道路。
针对传统siem所面临的被动分析和响应、事件过载、网络安全专业技能与人才匮乏等问题，soar的概念应运而生。第三代安全运营中心利用安全设备、siem和soar技术，并结合大数据分析技术和人工智能技术，寻找未知的攻击向量以及长期未检测出的攻击迹象，更加注重通过主动式、智能化的方式实现合规性，而不是简单地依照合规性法规来提供网络安全。
技术架构 基于大数据基础架构的集成式siem，对企业和组织所有it资源产生的安全信息进行统一实时监控、审计分析、溯源取证、周期报告和应急处置，实现了it资源合规性管理的目标。
一个典型的siem技术架构如下图所示。
siem包含如下几个关键技术组件：
1 数据接入： siem强调数据源的多样性。采集、监测和分析网络流量、网络设备日志、主机日志、安全设备日志、应用服务日志等多种数据，结合威胁信息、资产等数据，以支持全网威胁的及时检测与分析。负责采集数据的组件包括流量探针和日志采集器。流量探针一般用于收集互联网出口、办公网出口、数据中心出口的流量信息，包括网络监测功能的netflow数据和流量协议解析后的metadata数据。日志采集器一般用于收集各种日志，日志源一般包括资产扫描系统、漏洞扫描系统和安全设备（例如ids、防火墙、edr等）。流量信息和日志统一上送到数据处理组件。
2 预处理： 预处理组件对采集的网络流量信息和日志进行清洗、转换与存储，完成数据的规范化。规范化过程包含对异构系统的日志字段、流量信息向siem系统进行映射，补齐用户信息、资产信息和地理位置信息等。规范化统一了不同模块的数据模型，提高了数据质量，便于上层组件的分析和检测。
3 数据总线： 数据总线定义了组件间数据交换的标准，使数据可以在各个组件之间高性能、低延迟地流转。同时，数据总线还提供了数据订阅与通知能力。
4 安全大数据平台： 安全大数据平台提供强大的计算与分析能力，并为上层应用提供分布式分析引擎，具有高可用、高性能、开放性和可持续演进等特点。通过智能引擎、关联分析引擎，安全大数据平台，为威胁检测组件提供检测算法和检测规则的运行环境。
5 威胁检测： 威胁检测是siem的核心能力，通过网络流量和日志数据构建检测算法（例如nta算法、日志关联分析算法、用户行为分析算法等），在关联分析引擎和智能引擎等多种引擎支撑下，可检测出内外部攻击行为。各种检测算法和分析规则是威胁检测的关键，siem不仅支持丰富的在线算法、离线算法和分析规划，还应该支持自定义分析规则。
6 安全应用： 安全应用是直接向运营人员提供的配置与可视化界面，通常包括安全态势监控、风险监控、事件分析、响应闭环、资产管理等功能。
技术价值 siem可帮助安全运营团队收集和分析安全数据，管理安全信息和安全事件，并根据预先设定的规则给出通知。siem还支持设置符合特定安全问题的规则、报告、告警和仪表板等策略。siem能够帮助安全运营团队获得如下优势：
数据收集： 根据企业安全诉求，收集、监测和分析数据中心、办公网络、互联网出口等区域的网络流量信息。根据纵深防御诉求，收集各种安全设备的日志。根据资产风险评估的诉求，收集资产管理系统的日志，用于绘制资产画像。根据办公安全诉求，收集环境感知系统日志，通过ueba技术绘制用户特征。
事件研判： 在收集网络流量信息与日志后，通过在线/离线学习技术、关联分析技术，生成安全事件、资产特征、用户特征、用户行为基线等，支撑安全分析与事件研判。
安全编排与自动化响应： siem检测到事件后，可以自动或手动触发安全响应工作流，按照预先设定好的剧本（playbook），快速完成调查取证和攻击遏制。siem和soar的结合，可以帮助识别正在发生的攻击活动，并及时采取消减措施，避免攻击造成严重损失。在安全运营由被动防御向主动防御转变的过程中，soar技术把数据感知、安全检测、响应与处置有机结合在一起，提升了安全运营效率与能力。
指标和报告： siem提供的威胁处置率、阻断率、高风险资产排行和高风险事件指标，不仅提示安全运营团队当前的网络安全状态，也体现了安全运营团队工作价值。安全报告则可以快速呈现全局安全风险与脆弱性，更好的支撑运营团队的工作。
华为实践 华为安全持续聚焦五大根技术，基于流量、文件、事件、漏洞、威胁信息，构建安全关键竞争力。通过siem产品的相关技术，对网络流量、资产、安全设备的日志进行收集、监测和分析，为零信任网络提供安全分析与持续运营能力。
华为siem产品hisec insight的产品架构如下图所示：
数据源：提供全面、高效采集日志和流量能力。
大数据平台：基于华为商用fusion insight大数据平台构建，稳定可靠，支持标准加密算法aes和国密算法sm4。
安全分析层：提供丰富的异常行为检测、多维的关联分析和智能检测能力。
应用层：提供直观的威胁可视化和快速响应处置能力。
华为安全态势感知入选了2022年gartner siem魔力象限，也是国内唯一入围的厂商。至此，华为成为国内唯一连续两年入围gartner siem魔力象限的厂商。gartner分析师认为华为的优势如下：
❖ 威胁分析能力：威胁分析一直是华为重点投资的领域。其ueba能力提供了基于对等组的动态检测。其基于机器学习的实体风险排名反映了资产价值、漏洞风险、攻击风险等因素。
❖ 丰富的产品生态能力：华为提供网络检测与响应、沙箱、诱捕、ueba、编排与响应、威胁信息等一系列产品集成能力。
❖ 灵活的场景适配能力：华为产品提供多种形态，包括软件、硬件和虚拟化部署，还可以通过华为公有云或私有云进行托管，可按需灵活选择。
华为云获行业所有最具影响力隐私保护认证
LED行业在变革 2019年上半年开启离职潮
自制一款迷你掌机的方法及步骤介绍
联想股价已经下跌了56% 沦为全球最差科技股
高通面临三重威胁 固有优势或被削弱
安全态势感知专家说第4期：SIEM驱动安全运营
新唐NuMicro M2351系列是市场上首批以Arm Cortex-M23为内核的微控制器
家用插座为什么是左零右火？反接会有什么后果？
Micro-MaTch电缆组件数据介绍
RISC-V将超越X86和Arm？
CSI-Z234导丝头端软柔软性测试仪
自动驾驶正加速，长城新车将搭载高通Snapdragon Ride平台
示波器探头的带宽是指什么
Lantiq将HAN FUN集成到其宽带网关设计中支持物联网
比特币矿池正在向中心化发展
动力电池和储能电池有什么区别
德国电信正在计划构建一张独立的5G核心网
TD-SCDMA网络模拟仪核心网模拟功能分析
基于DWC2的USB驱动开发-0x08 ULPI接口协议概览
国科微获“十大半导体杰出品牌”
萌芽阶段 安全运营中心诞生于2000年以前。当时，计算机病毒、特洛伊木马和恶意软件大爆发，并在计算机网络间传播，给信息安全造成了严重破坏。这个时期，为了构建安全防御体系，防火墙、防病毒系统、ids（intrusion detection system，入侵检测系统）和漏洞扫描系统等各式各样的新技术应运而生。其中，ids注重网络入侵检测，在这个时期发挥了重要作用。
安全运营中心的萌芽阶段主要以防御为主。企业和组织开始制定基于漏洞修复的管理流程，并通过脚本、入侵检测系统的控制台和其他自主开发的工具来初步分析安全事件。运营人员使用sim（security information management，安全信息管理）产品收集it网络资源、各类安全产品产生的日志等信息，并进行关联分析，从海量信息中分析出有价值的安全事件。同时，更关注实时事件监控和应急处理的sem（security event management，安全事件管理）产品也开始逐渐出现。sim和sem的出现，标志着siem技术的萌芽。
成长阶段 安全运营中心在2010年前后快速发展。随着互联网技术的进一步发展，恶意软件从具有破坏性的僵尸、木马、蠕虫开始转向有针对性的攻击，并逐渐形成了黑客产业。企业和组织开始意识到，即使部署了防御性的安全技术，网络入侵也不可避免会发生。基于此，企业和组织将安全运营的工作重点从入侵的检测转向信息泄露的检测、防御与阻断。然而，sim和sem产品仍然各自为政、缺乏联动，难以形成有价值的、全面系统的安全态势分析报告，也就难以应对复杂多变的安全威胁。一小部分中小型企业开始构建siem系统，用于监测网络流量、安全设备日志、服务器日志与终端日志，同时建设应急处理流程，并利用大数据技术实现安全态势感知。
2005年，全球it研究与顾问咨询机构gartner首次将sim和sem整合到一起，明确提出了siem的概念，为安全运营揭开了新的篇章。gartner对siem的定义是：“siem技术通过收集和分析安全事件以及各种其他事件和上下文数据源，支持威胁检测、合规性和安全事件管理。核心功能是广泛的日志收集和管理、跨不同来源分析日志和其他数据的能力，以及运营能力（例如事件管理、仪表板和报告）。”
成熟阶段 第三代安全运营中心诞生于2020年前后，并且仍在不断发展中。这个时期的网络威胁呈指数级增长，典型的如apt攻击，通常由特定组织对特定对象展开持续的攻击，具有极强的隐蔽性和针对性。apt攻击通常会综合利用受感染的移动存储设备、供应链攻击和社会工程学等多种手段，复杂性更高，威胁更强。随着大数据和人工智能等新技术的应用，网络攻击开始向智能化、自动化、服务化趋势蔓延，并日趋复杂。
在这个背景下，网络安全标准组织和合规性工作也在不断推进安全产品和实践的发展，各个企业和组织都在争先恐后地寻找降低网络安全风险和限制攻击影响的最佳方法。安全运营开始从被动防御转变为主动防御，更注重从防御、检测、响应和预测四个维度构建网络安全体系，安全运营“闭环”的概念也随之形成。安全运营中心开始走向更加体系化的道路。
针对传统siem所面临的被动分析和响应、事件过载、网络安全专业技能与人才匮乏等问题，soar的概念应运而生。第三代安全运营中心利用安全设备、siem和soar技术，并结合大数据分析技术和人工智能技术，寻找未知的攻击向量以及长期未检测出的攻击迹象，更加注重通过主动式、智能化的方式实现合规性，而不是简单地依照合规性法规来提供网络安全。
技术架构 基于大数据基础架构的集成式siem，对企业和组织所有it资源产生的安全信息进行统一实时监控、审计分析、溯源取证、周期报告和应急处置，实现了it资源合规性管理的目标。
一个典型的siem技术架构如下图所示。
siem包含如下几个关键技术组件：
1 数据接入： siem强调数据源的多样性。采集、监测和分析网络流量、网络设备日志、主机日志、安全设备日志、应用服务日志等多种数据，结合威胁信息、资产等数据，以支持全网威胁的及时检测与分析。负责采集数据的组件包括流量探针和日志采集器。流量探针一般用于收集互联网出口、办公网出口、数据中心出口的流量信息，包括网络监测功能的netflow数据和流量协议解析后的metadata数据。日志采集器一般用于收集各种日志，日志源一般包括资产扫描系统、漏洞扫描系统和安全设备（例如ids、防火墙、edr等）。流量信息和日志统一上送到数据处理组件。
2 预处理： 预处理组件对采集的网络流量信息和日志进行清洗、转换与存储，完成数据的规范化。规范化过程包含对异构系统的日志字段、流量信息向siem系统进行映射，补齐用户信息、资产信息和地理位置信息等。规范化统一了不同模块的数据模型，提高了数据质量，便于上层组件的分析和检测。
3 数据总线： 数据总线定义了组件间数据交换的标准，使数据可以在各个组件之间高性能、低延迟地流转。同时，数据总线还提供了数据订阅与通知能力。
4 安全大数据平台： 安全大数据平台提供强大的计算与分析能力，并为上层应用提供分布式分析引擎，具有高可用、高性能、开放性和可持续演进等特点。通过智能引擎、关联分析引擎，安全大数据平台，为威胁检测组件提供检测算法和检测规则的运行环境。
5 威胁检测： 威胁检测是siem的核心能力，通过网络流量和日志数据构建检测算法（例如nta算法、日志关联分析算法、用户行为分析算法等），在关联分析引擎和智能引擎等多种引擎支撑下，可检测出内外部攻击行为。各种检测算法和分析规则是威胁检测的关键，siem不仅支持丰富的在线算法、离线算法和分析规划，还应该支持自定义分析规则。
6 安全应用： 安全应用是直接向运营人员提供的配置与可视化界面，通常包括安全态势监控、风险监控、事件分析、响应闭环、资产管理等功能。
技术价值 siem可帮助安全运营团队收集和分析安全数据，管理安全信息和安全事件，并根据预先设定的规则给出通知。siem还支持设置符合特定安全问题的规则、报告、告警和仪表板等策略。siem能够帮助安全运营团队获得如下优势：
数据收集： 根据企业安全诉求，收集、监测和分析数据中心、办公网络、互联网出口等区域的网络流量信息。根据纵深防御诉求，收集各种安全设备的日志。根据资产风险评估的诉求，收集资产管理系统的日志，用于绘制资产画像。根据办公安全诉求，收集环境感知系统日志，通过ueba技术绘制用户特征。
事件研判： 在收集网络流量信息与日志后，通过在线/离线学习技术、关联分析技术，生成安全事件、资产特征、用户特征、用户行为基线等，支撑安全分析与事件研判。
安全编排与自动化响应： siem检测到事件后，可以自动或手动触发安全响应工作流，按照预先设定好的剧本（playbook），快速完成调查取证和攻击遏制。siem和soar的结合，可以帮助识别正在发生的攻击活动，并及时采取消减措施，避免攻击造成严重损失。在安全运营由被动防御向主动防御转变的过程中，soar技术把数据感知、安全检测、响应与处置有机结合在一起，提升了安全运营效率与能力。
指标和报告： siem提供的威胁处置率、阻断率、高风险资产排行和高风险事件指标，不仅提示安全运营团队当前的网络安全状态，也体现了安全运营团队工作价值。安全报告则可以快速呈现全局安全风险与脆弱性，更好的支撑运营团队的工作。
华为实践 华为安全持续聚焦五大根技术，基于流量、文件、事件、漏洞、威胁信息，构建安全关键竞争力。通过siem产品的相关技术，对网络流量、资产、安全设备的日志进行收集、监测和分析，为零信任网络提供安全分析与持续运营能力。
华为siem产品hisec insight的产品架构如下图所示：
数据源：提供全面、高效采集日志和流量能力。
大数据平台：基于华为商用fusion insight大数据平台构建，稳定可靠，支持标准加密算法aes和国密算法sm4。
安全分析层：提供丰富的异常行为检测、多维的关联分析和智能检测能力。
应用层：提供直观的威胁可视化和快速响应处置能力。
华为安全态势感知入选了2022年gartner siem魔力象限，也是国内唯一入围的厂商。至此，华为成为国内唯一连续两年入围gartner siem魔力象限的厂商。gartner分析师认为华为的优势如下：
❖ 威胁分析能力：威胁分析一直是华为重点投资的领域。其ueba能力提供了基于对等组的动态检测。其基于机器学习的实体风险排名反映了资产价值、漏洞风险、攻击风险等因素。
❖ 丰富的产品生态能力：华为提供网络检测与响应、沙箱、诱捕、ueba、编排与响应、威胁信息等一系列产品集成能力。
❖ 灵活的场景适配能力：华为产品提供多种形态，包括软件、硬件和虚拟化部署，还可以通过华为公有云或私有云进行托管，可按需灵活选择。
华为云获行业所有最具影响力隐私保护认证
LED行业在变革 2019年上半年开启离职潮
自制一款迷你掌机的方法及步骤介绍
联想股价已经下跌了56% 沦为全球最差科技股
高通面临三重威胁 固有优势或被削弱
安全态势感知专家说第4期：SIEM驱动安全运营
新唐NuMicro M2351系列是市场上首批以Arm Cortex-M23为内核的微控制器
家用插座为什么是左零右火？反接会有什么后果？
Micro-MaTch电缆组件数据介绍
RISC-V将超越X86和Arm？
CSI-Z234导丝头端软柔软性测试仪
自动驾驶正加速，长城新车将搭载高通Snapdragon Ride平台
示波器探头的带宽是指什么
Lantiq将HAN FUN集成到其宽带网关设计中支持物联网
比特币矿池正在向中心化发展
动力电池和储能电池有什么区别
德国电信正在计划构建一张独立的5G核心网
TD-SCDMA网络模拟仪核心网模拟功能分析
基于DWC2的USB驱动开发-0x08 ULPI接口协议概览
国科微获“十大半导体杰出品牌”