前言

从互联网业务边界安全防护、到流量安全、主机安全、终端安全、邮件安全，从共享威胁情报，到统一运营管理，从用户行为管控，到安全意识教育，从安全管理规定，到应急响应流程…… 作为网络安全行业“最大的那条鱼”，安全运营囊括了防护、检测、响应、恢复等各个阶段，涵盖了从工具、平台、人到管理与流程的全部要素。可以说安全运营既蕴含着安全建设过往发展的历史，也代表了未来相当一段时间内机构安全体系化建设的方向。

伴随企业部署众多安全防护产品的同时，在各类攻防对抗、红蓝演练中依然会暴露出各种问题，导致边界被突破、权限被获取，数据被泄露，靶标被拿下甚至发生真实的信息安全事件，严重影响生产业务安全。为此，面对当前已部署的各类安全防护措施，企业安全团队需要关注：

1、已部署的各类安全防护措施和基线是否有效？是否按照预期执行防御和检测动作？是否可做到“应检尽检”？

经过对 600 多家金融、央企、制造业等单位的调研和实践证明，大多存在不同程度的“失去安全防护效力的情况”，这被称之为“防护失效”。

图 1：十二个企业典型防护失效点（来自知其安调研分析）

造成防护失效的原因中，90% 难以通过日常巡检或依靠人工排查的方式发现异常，这些安全能力失效往往是在真实事件发生时才受重视或被感知。通过对大量案例和数据的分析，发现企业防护失效普遍呈现出“7-2-1”的共性态势。

图 2：企业防护失效“7-2-1”态势（相关数据面向知其安客户调研分析得出）

针对各类安全防护必然存在失效或防护效力不及预期的问题，作为监管侧需要抓手，实现体系化、标准化的执行监督检查职责，及时发现和暴露组织单位安全防护的失效情况，联防联控，降低行业整体风险。作为承担安全防护主体责任的企业单位，应当在常态化安全防护中持续检验和评估自身安全防御能力，及时发现防护和检测缺失点，提升网络安全整体防护能力。为此，“安全有效性验证”作为全新的检查评价机制应运而生，既可以实现对企业单位已部署安全防护措施的自动化巡检核查，又可以作为监管单位的有效抓手。

通过对安全设备、平台、意识、流程等安全要素的有效性进行验证、度量，安全运营体系中的短板得以暴露，安全运营的价值得以体现。验证是手段，度量是价值。可以说，安全运营的灵魂即是验证与度量。安全有效性验证使得安全运营最重要的一块拼图得以补全。

近两年来，业内已经先后涌现出专门满足这一需求的初创安全企业，逐渐形成了安全有效性验证的创新赛道。在数世咨询发布的《能力指南- 持续评估定义安全运营》报告中，已经对相关能力做了初步阐述。本报告将对“持续评估定义安全运营”中的主要技术路线——安全有效性验证进行进一步调研阐述。

报告由北京知其安科技有限公司（下文简称“知其安”）与北京数字世界咨询有限公司（下文简称“数世咨询”）联合撰写、发布。

编写组成员：

知其安   聂君、孟繁强、郭威、罗海龙、吕永朔

数世咨询 刘宸宇

勘误与交流沟通请联系邮箱：liuchenyu@dwcon.cn、market@zhiqiansec.com

为保持本报告内容的统一性，这里先列出业内目前常见的一些相关术语及其描述，如安全有效性验证、BAS、攻击验证节点、靶标验证节点、安全验证平台服务端等。

•  安全有效性验证（Cybersecurity Validation – CV）

安全有效性验证是通过入侵与攻击模拟技术，构造各类型实战攻击手法，对企业已部署的各类安全防护措施及规则策略开展全面的模拟攻击验证，通过对攻击结果的汇集分析评估网络安全纵深防护体系的防护效果，让安全防护可视化。

• 入侵攻击模拟（Breach and Attack Simulation - BAS）

以模拟仿真的体系化安全攻击手段，评估验证安全运营体系发现威胁的能力。单独描述 BAS 时，BAS 可视为独立产品，而对于安全有效性验证 CV 来说，BAS 则属于验证方案中会使用到的一项技术手段，可以视为 CV 的子集。

• 攻击验证节点

承担模拟攻击者执行攻击的角色，发起各类攻击验证动作。根据不同的验证场景，攻击验证节点的部署点可位于云端、互联网、DMZ 区、办公内网、业务专网等不同区域。

• 靶标验证节点

承担被攻击或攻击指向的角色，提供被攻击后的响应和反馈，以及攻击过程中的相关记录和信息反馈。可以是 URL/IP（虚拟靶标），也可以是单独部署的实体靶标。

• 安全验证平台服务端

负责接收上述各类节点的回传数据，通过结合SIEM/SOC/态势感知/安全设备 中的安全日志，自动化对验证用例的结果进行判定，并基于行业最佳实践的验证知识库进行比对，对判定结果中的有效点、失效点等分别给出相应的量化报告或针对性的改进建议。

1. 市场与能力现状

1.1 国际相关概念

2017 年， Gartner 在发布的《面向威胁技术的成熟度曲线》（Hype Cycle for Threat-Facing Technologies） 中首次出现 BAS 入侵与攻击模拟 （Breach and Attack Simulation） 概念，并将之归到了新兴技术行列。

2021 及 2022 年，“Gartner 在《2021 年八大安全和风险管理趋势》、2021 及 2022《安全运营技术成熟度曲线》等报告中，连续提到BAS 技术的必要性，预测 BAS 将成为 IT 安全建设重要技术手段。”

2023 年，Gartner 最新的 2023 年网络安全趋势提到的 9 大趋势中，“Cybersecurity Validation 网络安全验证”成为重要元素之一，从 BAS 技术框架的提出，到网络安全验证，真正落地实现了攻击模拟的落地化应用。

图 3 Garnter 报告摘录

在 Gartner《2024 安全和风险管理技术路线图》中，BAS 同样被认为对企业具有高价值且处于快速发展成熟阶段。代表企业有 AttackIQ、Cymulate、SafeBreach 以及被 Google 收购的 Mandiant 等。

在 2024 年 7 月最新发布的《Hype Cycle for Security Operations， 2024》中，BAS 与 Autonomous penetration testing and red teaming 等概念一起，被合并入对抗性暴露验证（Adversarial Exposure Validation - AEV），由此，BAS 的落脚点由模拟（simulation）升级为验证（validation），朝着效果与价值的方向更进一步。此外，合并后新命名的 AEV 处在成熟度曲线的“创新触发区间”，表明 BAS 与各项能力整合后，具备了新的创新发展前景。

1.2 国内市场概况

参照上述国外各个相关概念的演进，据数世咨询调研，目前国内相关能力企业的基因有行业最佳实践、自动化渗透、仿真靶场等三类。这三者各有侧重，并不冲突，有的能力厂商同时兼具2-3 项，在实际交付时，会根据不同水平的机构用户需求，结合成不同的解决方案，用户也可根据自身实际需求进行选择。

• 基于行业最佳实践的有效性验证

在金融等行业有多年深耕经验积累的安全创业团队，凭借其核心成员在一线安全运营场景中的行业最佳实践，积累了大量从日常安全运营、实网演习、重保演练、实战攻防中提炼总结出的验证用例，这些用例在同行业同场景中有非常高的验证“命中率”，加以自动化的验证平台，可以有效发现同行业机构用户的失效点，提升其安全运营整体有效性，为同行业机构用户提供持续的有效性验证能力。BAS是安全有效性验证里重要的技术实现方式。

• 动化渗透

自动化渗透技术先后经历了多 agent 漏扫、黑盒多向量攻击等阶段，也引入了威胁情报、攻击面管理等新的技术能力，其特点是能够以外部攻击者视角对机构用户的实际业务系统发起攻击，进而通过杀伤链上的信息搜集、漏洞利用、跳板终端、网络节点、主机应用等环节，深入到内网业务主机，可以一定程度替代人工渗透的工作。

• 仿真靶场

“仿真靶场”大多由网络靶场、数字靶场赛道的企业发展而来，其优势在于对机构用户现行安全运营体系中网络架构、终端系统等运行环境的高度仿真。结合多年多项赛事中所积累的攻防技战法转化而来的验证剧本，该路线在安全运营体系中，特别是安全运营团队的人员能力有明显的验证效果，可以有效发现运营团队的响应短板，提升整个安全运营团队的响应时效。

不论采用哪种技术路线，国内这一赛道的共同特点是都更为贴近用户的实际需求：一方面，已经有较多安全厂商推出了自动化渗透测试产品，在实网攻防演练中配合攻击队已有较广泛应用；另一方面，安全有效性验证开始进入市场普遍接受和快速发展的阶段，越来越多的安全运营团队开始通过自动化的验证，用以评估当前的防御能力与实际效果。代表行业有金融、监管、能源电力、运营商等，下一小节将针对各行业的需求分别叙述，接下来，我们先看下国内安全有效性验证的市场概况。

在数世咨询发布的《能力指南 - 持续评估定义安全运营》报告中，数世咨询将自动化渗透测试、安全有效性验证等细分领域统一以“持续评估定义安全运营”概念进行统计，目前该赛道在国内的市场份额已经过亿，同比增长率高达 440%，同时数世咨询认为在接下来的几年内会这一赛道继续保持高速增长。如图4所示。

图 4：持续评估定义安全运营市场规模

数世咨询预计 2024年持续评估定义安全运营的市场规模可达到 6 亿元，2025 年预计将增长至 10 亿元规模。这一预测基于数世咨询《中国数字安全产业年度报告 2023》中的统计数据，同时参考金融、政府监管、能源电力、运营商等行业安全运营投入、持续评估所占比例等要素综合得出。

1.3 行业需求与能力价值

从国内各行业对安全有效性验证的需求情况来看，根据数世咨询《能力指南- 持续评估定义安全运营》报告统计，金融行业的有效性验证需求在各行业中排名第一，需求占比为 36%。如下图所示：

图 5：行业需求占比 – 持续评估定义安全运营

按照行业分类来看，排名靠前的各行业中：

• 金融行业

目前作为需求占比最高的行业，安全有效性验证的需求主要来源于实战化安全运营、实网攻防演练等场景，金融行业自身属于强监管行业，且内生安全需求较高，推动整体安全建设相对较早、较快的发展，用户安全运营的成熟度不论从团队意识到实际运营水平都处于较高水平。

安全有效性验证对金融行业带来的价值更多体现在降本增效，在无需追加人员的前提下实现对已有验证手段（人工渗透、红蓝对抗）的全面补充，同时指导来年安全建设预算方向，量化防御能力。

• 政府监管行业

以 27%的需求占比排名第二，其有效性验证的需求主要以 All in One 的形式存在于安全运营平台建设项目中，政府监管类用户面临潜在的国家级网络攻防对抗风险，因此通过安全有效性验证对自身及下属单位进行持续评估，这一需求就显得格外强烈。

安全有效性验证对政府监管行业带来的价值是解决相关监管单位对国家关键信息基础设施及重要单位缺少标准化防护能力检查评估工具的问题，能够发现和整改组织单位网络安全防护建设中的深层次问题和潜在隐患。

• 能源电力行业

作为关键信息基础设施行业的代表，同时具备金融与政府监管两个行业的需求特点，无论是国家级网络攻防对抗风险，亦或实战化安全运营需求，在能源电力行业都能看到，因此其成为近年来另一个需求增长较快的行业，排名第三。

安全有效性验证对能源电力行业带来的价值主要体现在“自动化安全巡检”。该行业普遍存在“业务体量巨大但安全团队较小”的情况，面对严峻的安全形势，安全团队实际工作压力很大。借助平台自动化高效实现“安全有效性”巡检，即类似自动化运维，实现安全运营常态化的“自动化巡检”；同时第一时间可以获得新的攻击方式和漏洞利用的全面验证。

• 运营商行业

作为业务连续性要求最高的行业之一，行业集中度高，集采项目金额大，因此安全有效性验证需求作为众多数字安全新赛道之一，也开始逐步走进运营商用户的视野，运营商作为网络通信基础架构的建设和运营方，承担各类骨干网和关键节点的通信保障，安全防护不容任何闪失，尤其面对近期勒索事件频发、外部威胁局势严峻，针对安全防护措施的可用性、可靠性、有效性检查评估已在各类通知、发文中提及，纳入相关要求。

安全有效性验证对运营商行业带来的价值主要体现在各省公司复杂网络架构下，布防的众多类型的安全设备和措施是否都实时有效。集团对各省公司的安全防护能力进行评价或考核，并给予针对性的优化提升指导。

2. 关键成功因素

安全有效性验证通过最佳实践验证用例的比对，或在不同网络域单独部署验证节点（攻击角色和靶标角色），无害化开展持续的模拟攻击验证，形成自动化规则策略验证闭环，实现安全防护措施的有效性验证，确保网络安全配置、安全设备、安全策略等按照预期运行。总结下来，其关键成功因素有：

• 安全有效性验证需要确保第三方中立性

• 懂攻防更要懂安全运营

• 安全有效性验证必须实现无害化

• 安全有效性验证应高度自动化

• 安全有效性验证需要包含攻防对抗和规则策略绕过的验证

• 基于最佳实践的验证用例积累

• 安全有效性验证攻击用例的持续更新迭代

• 针对验证结果的策略优化

2.1 安全有效性验证需要确保第三方中立性

企业当前已部署各类安全产品和平台，涉及各类主流安全厂商作为供应商，提供产品和技术服务。很大程度上，当前依赖于这些安全产品的能力，实现对威胁和攻击的检测和拦截。从安全有效性验证的角度出发，是对当前已部署的各类安全产品、平台、规则策略等的有效性进行验证评估，第三方中立性是重要支撑点。目前已经有部分安全大厂关注“安全有效性验证”赛道，投入一些资源开拓，但对于新的方向，赛道和客户需求还没有标准化，大厂缺少耐心培育市场，支持力度很有限。最重要的一点是：第三方公正性。部分厂商既做安全防护产品，又做安全有效性验证，既做守门员，又做裁判员。该类厂商做安全有效性验证，评价自己的安全产品配置、防护能力的有效性，难以保证公正性。

2.2 懂攻防更要懂安全运营

安全有效性验证是比较新的技术手段，是基于自动化攻击模拟技术框架形成的最佳实践。区别于传统防御视角，安全有效性验证需要对攻击原理、攻击手段、攻击方式、攻击工具以及各类漏洞利用都有深入的研究和积累。针对攻击侧的研究需要有深度的技术底蕴和丰富的实战积累，更需要投入大量时间和人力来研究落地。同时还要具备丰富的安全建设运营经验，并且能将头部用户先进的安全建设运营经验通过验证平台传递给其他用户。

当模拟攻击打出，需要清晰了解甲方拦截和告警的预期结果。这需要研究各网络安全厂商安全产品的防御机制和原理，横向收集各网络安全厂商主流安全产品的检测、拦截、阻断反馈数据，包括：响应页面、返回代码、特殊返回字符或部分API 接口等，这样才能自动化的准确判断拦截、检测结果，才能实现安全有效性验证的自动化闭环。该技术实现门槛较高，不仅需要有较强的攻击技术能力和攻防实战积累，更关键的是要求具备丰富的安全运营经验和视角，能够清晰了解企业安全工作建设、安全运营工作开展过程中，会在哪些方面存在安全措施和策略的可能失效点，并通过安全验证手段输出验证结果。

所以在考虑现有资源和实际需求的情况下，应重点关注该领域专业厂商对安全运营的理解和背景。

2.3 安全有效性验证必须实现无害化

安全有效性验证必须实现无害化，目的是对已经部署的各类安全防护措施的验证，而不是对生产业务系统实行真实的伤害性攻击。需要对各类攻击手法进行无实际伤害的模拟，同时又需要使其保留攻击特征。验证节点使用实体靶机时，需在生产网内申请虚拟机或者物理机，策略配置和生产网业务主机保持一致，但是不能使用真正跑业务的主机作为靶机进行验证。验证使用的技术包括但不限于发送攻击请求、流量包回放、本地模拟执行等方式。

2.4 安全有效性验证应高度自动化

安全有效性验证带来的最大改进之一是能够持续评估态势的能力。它消除了单点时间评估的缺点，取而代之的是，可以以高度自动化的方式进行验证，在发生配置更改或告警失效时立即通知安全团队。

安全有效性验证应该以自动化为核心，构建实战化、体系化、常态化的安全有效性攻击验证节点机制。通过在企业内部构造不同的模拟攻击验证场景，对已部署的各类安全防护措施及规则策略开展全面的模拟攻击验证，形成可量化、可持续、可运营的安全有效性验证体系，实现自动化攻击模拟、自动化闭环分析、自动化结果输出。验证平台的部署实施、验证任务的下发、验证动作的执行、验证结果的比对、以及验证报告的生成等功能都应当是充分自动化的，无需人工干预，减少因人工参与导致的效果不一致性。

在这些自动化能力基础上，安全团队就可以利用累计发现的多个失效点，按照时间线维度，分解故障背后的真实原因，提高整个系统的弹性与韧性。且在面临业务迭代、IT 环境变化、策略规则升级、外部新威胁等场景时都能对其进行持续验证。

安全有效性验证不能只是单纯的攻击发出，而依赖人工进行结果的确认和判断。需要基于平台实现自动化的机制，从模拟攻击的发出，到防御体系产生的各类拦截、阻断、告警响应等生成的各类日志信息，形成完整验证链路。不需要额外的人员投入，通过自动化的方式实现攻击场景构建、任务调度、事件日志获取与分析评估，最终实现全自动化的验证和结果输出。

2.5 安全有效性验证需要包含攻防对抗和规则策略绕过的验证

BAS 是攻防对抗层面的验证，通过模拟可能由黑客或不法分子实施的网络攻击，通过内置的模拟攻击脚本及行为，执行正面攻防对抗的验证评估。从安全运营角度来看，还需要补充对各类规则策略绕过的验证，即非攻防对抗的验证。如网络隔离策略的验证，验证ACL 的有效性；访问控制台唯一访问 IP 限制策略的有效性等。通过场景的模拟和构造实现自动化的对规则策略的有效性进行验证。

2.6 基于最佳实践的验证用例积累

业内大部分该领域的能力者会参考 MITRE 的 ATT&CK 框架等知识库，覆盖 APT 高级威胁的攻击战术、技术和程序。但除此之外，基于行业最佳实践的验证用例的覆盖与积累是安全有效性验证的首要关键成功因素。即应当结合国内近几年的两大场景——实网攻防演练与数字化转型——基于最佳实践来组织安全有效性验证的用例。

针对实网攻防演练，通过持续收集往年演练活动中的攻击思路、攻击工具、攻击链路等要素，整理为高度仿真的验证用例；针对数字化转型，重点考虑转型过程中的业务上云，资产数字化等导致的攻击面扩大，覆盖身份、网络、存储和控制台访问等关键点，避免错误配置、横向移动、系统滥用、特权升级和未知进程等问题。

因为行业最佳实践具备明显的场景化特点，所以在某个行业头部用户使用较多的安全有效性验证产品，在这个行业的验证场景用例会更具有行业属性，能够将行业头部用户的运营经验以验证产品知识库的方式传递给行业其他用户。

2.7 安全有效性验证攻击用例的持续更新迭代

攻防是持续对抗的过程，需要对各类攻击有全面的深入研究和工程化实现。需要对最新的各类攻击原理，攻击手段，攻击方式，攻击工具，以及各类漏洞利用都有持续的，实时的研究和用例开发上线。用例的更新和上线，需要由专业化的团队运营，做到7X24 小时持续更新和发布，确保我行能够第一时间对最新的攻击进行验证。

2.8 针对验证结果的策略优化

通过安全有效性验证发现失效和各类问题后，需要给出对应的针对性解决建议，解决建议的核心同样应该是来自行业最佳实践。要求安全有效性验证厂商具备充分的行业安全验证实践，基于众多的用户实践和反馈，给出问题解决方案和最佳建议。

3. 与传统安全评估的差异

在明确了安全有效性验证的八个主要成功因素之后，这里还要重点厘清安全有效性验证与漏洞扫描、渗透测试乃至攻防演练等传统以漏洞为主要视角的安全评估手段的区别。

3.1 传统安全防护体系存在脆弱性

3.1.1 资产存在脆弱性，安全防护体系也存在脆弱性

众所周知资产有脆弱性（含漏洞、弱口令、未授权访问等），因为资产有脆弱性，所以我们部署了一系列安全防护产品和措施，希望能及时的检测和阻断攻击，但近年来的实网攻防中会发现，经常出现攻击未检测到、未告警，攻击没拦截的情况，导致安全风险事件发生。因此，安全事件的发生是由两个因素叠加形成的：资产的脆弱性，安全防护体系的脆弱性。

3.1.2 传统以漏洞视角的资产脆弱性发现

针对资产的脆弱性，传统做法是基于渗透和红蓝对抗、漏扫等发现一些资产的漏洞问题，是以漏洞视角来发现资产的脆弱性。一直以来缺少一个体系化的机制对已经部署的各类安全防护体系的脆弱性进行验证发现和持续评估。现在，基于BAS 入侵与攻击模拟技术可以很好地解决。通过在企业内部自行构造各类模拟攻击验证场景，主动触发防御体系，主动触发产生告警和拦截事件，验证已布防的体系的有效性，通过持续验证确保安全防护持续有效。

图 6 ：传统安全防护体系存在脆弱性

3.2 安全有效性验证与传统验证方式的差异

安全有效性验证与渗透测试、攻防演练的主要区别如下表所示：

3.2.1 安全有效性验证 VS 漏洞扫描

安全有效性验证和漏洞扫描是不同的方向，具体描述如下：

漏洞扫描：对象是各类应用资产，目标是发现这些应用资产上是否存在已知的漏洞。主要以发包的方式通过扫描和探测，与已知漏洞特征库做匹配，确认漏洞是否存在，核心是漏洞。

安全有效性验证：对象是各种安全防护产品策略和运营平台，目标是及时发现“应告警而未告警”“应检测而未检测”的情况。通过基于 BAS 的自动化攻击模拟来实现，通过构造各种模拟攻击，包括漏洞利用、攻击手法、攻击工具等，来触发安全防护的各类检测和告警，核心是安全防护措施。从而让安全运营人员及时了解当前已部署的各类安全防护措施的有效性和防护水平。

3.2.2 安全有效性验证 VS 渗透测试VS攻防演练

安全有效性验证与渗透测试是没有替代性的，完全不同且可相互补充。具体描述如下：

渗透测试：是通过人工+工具的方式，挖掘业务资产漏洞，并找到可被利用的方式。从时间频度来说，是偶发的，一年只有几次。执行渗透测试任务时，通常是会在防护措施上将攻击源加白，避免造成工作难度加大。由于是单点路径的突破，比如发现1 个漏洞利用可以突破，就直接利用，对于潜在的可能存在其他漏洞利用就不需要关注和尝试了，因为渗透目标已经达成，且时间成本，人力成本无法顾及。（存在人员个体职业违规的风险）

攻防演练：使用的与渗透测试的技术一部分是相同的，但是更接近真实场景，偏向于实战，面对的场景复杂、技术繁多。侧重黑盒方式进行漏洞挖掘+绕过防御体系，毫无声息达成获取业务权限或数据的目标。不求发现全部风险点，因为攻击动作越多被发现的概率越大，一旦被发现，防守方就会把攻击方踢出战场。攻防演练的目的是检验在真实攻击中纵深防御能力、告警运营质量、应急处置能力。

安全有效性验证：是从全覆盖面出发结合纵深防御，对已经部署的各类安全防护体系的验证。通过白盒方式触发安全防护的各类检测和告警，及时发现“应告警而未告警”“应检测而未检测”的情况。面向纵深防御各个维度，实现体系化、标准化、自动化的对现有已部署的各类安全防护进行防护有效性验证，给出评估度量让安全运营人员及时和全面的掌握现有安全防护水准。通过持续常态化验证，先于攻击者发现失效点，缩短攻击时间窗口。

3.3 用户自己能否做验证

传统基于少量场景，碎片化的攻击手法的验证，确实可以用户自己做。但是，鉴于“黑盒验证的局限性”“人工白盒验证的局限性”，仍然建议专业的事交给专业的人做，何况是全覆盖面的验证无法依靠零星的个体完成验证。

（1）需要能自动化闭环验证，这个需要有模拟攻击验证特征和日志做自动化的闭环匹配，这样就不需要人工参与判断。各类设备和策略的日志自动闭环验证匹配，是需要比较大的开发门槛和维护成本，自己做没有相关经验，会导致后期有比较大的维护成本。

（2）安全检测能力验证一来依赖很多资深的安全技术和研发参与，从投入的资源来说，广度、深度和及时性等都会比厂商弱很多。且如果通过手动方式执行验证势必会浪费很多时间，也无法重复执行。而通过这种平台化的能力，能够快速的实现相关验证。相当于通过有效性验证平台能够将行业最关心的安全运营场景和攻击手法的知识库“带回家”，“天天体检”。

4. 核心能力

以技术手段开展有效性验证的总体思路是，基于安全防护措施的范围与目标，制定能够触发防护控制效果的模拟行为，结合防护措施实际的响应结果，能够实现自动化闭环并给出验证结果评价。控制措施设计的预期结果为评价基准，实际攻防的结果是评价依据，达到对防护措施的客观度量评价。通过将防护能力进行度量可视化，将安全防护能力可以“看得见”及“可评价”，才能形成对安全建设工作的抓手与指导。

图 7 ：安全有效性验证实践方案

4.1 验证流程

安全有效性验证的核心逻辑是“攻击与绕过场景构造”和“防护响应反馈”。

图 8 ：验证逻辑核心

基于平台工具，通过攻击验证节点向被验证对象发起验证，对已部署的各类安全措施发起无害化模拟攻击，基于日志事件的分析，判断安全防护措施对本次验证的响应情况，以评估整体防护响应检测能力。

验证结果分为有效和失效：

1、有效：对本次发起的模拟攻击验证，正常检测或阻断，产生告警信息或拦截事件，命中相关规则策略；或策略无法被绕过；

2、失效：对本次发起的模拟攻击验证，未检测到或未阻断，不产生告警信息或拦截事件，未触发相关规则策略；或策略被成功绕过，可执行相应操作。

图 9 ：验证逻辑流程

4.2 功能架构

安全有效性验证平台是集安全措施展示、监控与验证于一体的可视化系统，系统由三部分组成：

• 安全规则状态验证模块

通过攻击模拟验证，确定安全设备及规则检测链路是否正常工作，对重要安全防护措施进行过程验证：边界防护、流量安全、主机安全、终端安全、邮件安全、云原生安全等，同时对SOC或安全设备/系统的日志获取和告警方式以白盒的方式进行有效性验证。过程验证可以在第一时间内进行溯源，定位出现问题的位置，保障安全措施的连续性。

• 安全检测能力验证模块

自动化模拟攻击验证,在各个攻击平面覆盖更全量的攻击手段，结合现有的红蓝对抗等验证安全防护是否真实生效；为验证防护措施规则的有效性，选取以结果验证的方式进行，在融合现有运营措施（渗透测试、红蓝对抗、众测、漏扫、巡检等）的基础上，新增其他方式：定期自动执行模拟攻击脚本、专项验证POC等，达到安全自生长的内生安全。

• 可视化展示平台模块

实时动态展示安全有效性验证结果，第一时间掌握安全防护有效性。从防护措施分级，到防护措施展示，再到获取验证监控结果，直至最后失效措施告警，都依托于拓扑结构进行可视化展示，不但可以明确现有安全措施依据重要程度的分级情况，还可以直观的看到现有安全措施的部署位置与遗漏位置。

图 10 ：验证功能架构

4.3 逻辑架构

安全有效性验证平台可开展独立的攻击模拟验证，既可以通过与各类SOC安全运营中心或态势感知平台联动，获取验证结果日志，也可以直接与安全设备通过syslog对接日志，来判断安全设备监测和防护的告警状态，识别和验证安全设备的有效性与整体安全能力。

通过在不同网络域单独部署攻击验证节点和靶标验证节点，实现无害化的持续攻击验证，形成自动化规则策略验证闭环，实现安全防护、检测等安全设备的有效性验证，确保网络安全配置、安全设备、安全策略等按照预期运行。

图11 安全有效性验证平台工作流程图

验证平台是服务端、攻击验证节点、靶标验证节点三部分分离方式，实现灵活的模拟真实攻击者的方式进行安全验证，其中：

1. 服务端负责验证任务创建、任务调度、任务下发、验证结果分析及展示、靶标验证节点和攻击验证节点管理、验证场景创建和升级管理等；
2. 攻击验证节点负责模拟攻击者对目标靶标验证节点发起攻击验证；
3. 靶标验证节点作为被攻击端，用来充分验证安全防御检测能力、安全策略运行的有效性等；靶标验证节点上无任何真实生产业务，但部署有和真实环境一致的安全防护措施及软件。靶标验证节点分为实体靶标验证节点与虚拟靶标验证节点。

2）虚拟靶标验证节点：即URL/IP，主要做边界侧流量侧验证。

安全有效性验证平台应支持通过与信息安全SOC平台联动，同步安全设备资产信息、同步告警日志，接收系统验证结果，判断安全设备的防护有效性，实现自动化验证结果闭环。

4.4 用例设计

安全有效性验证用例是对安全防护措施开展检查与评价的最小单元。每个安全验证用例可能是一次入侵攻击尝试、恶意文件植入、危险命令执行、系统账号破解等外部入侵动作，也可能是配置文件变更、违规网络连接、开发代码包含漏洞、敏感数据泄露、违规运维操作等违背管控红线的违规行为。根据这种不同视角，安全用例的设计过程也需要有不同的侧重点。

1.基于攻击视角的入侵攻击模拟用例：攻击模拟

基于入侵与攻击模拟 BAS 技术框架构建模拟黑客的各类攻击行为。来自外部人员的入侵攻击与防护体系形成一种竞争对抗，规划验证用例时需要把工作重心放在对攻击手法的覆盖度以及热点攻击行为跟踪的及时性上。作为已知攻击技战术的集合，ATT&CK 框架已成为各方评估攻防技术覆盖情况应用最广泛的工具。相同的，安全有效性验证对攻击技战术的验证覆盖情况，也同样可参考该框架。

对于新披露的技战术情报或漏洞，因防守方修复需要一定时间导致出现一段窗口期。通常每逢比较严重的漏洞被披露时，网络会出现大量尝试利用该窗口期进行初步边界突破的攻击行为。安全验证用例则需要在真实攻击者发起此类攻击行为前，以相同的攻击手法完成对防护能力的排查并从防护层进行优化。

2.基于防御视角的违规行为模拟用例：策略绕过基线检查

对于违规行为的模拟时，所面临的最大的挑战是违规动作的不确定性，这种不确定性相对于外部入侵来说会更高。

这里应优先选择那些对企业会产生较大影响的红线规则，这样有利于资源调配，最大化验证资源投入的性价比。同时可优先选择采取了技术控制措施的规则进行验证，这类有技术验证目标的验证用例会更有技术可落地性。面向规则的验证用例设计方法属正向设计思路，即根据需要验证的规则模拟破坏其规则用例即可，相比较而言设计过程会有较强的指向性与范围参考。

另外，对于一些主动意愿较强的违规行为模拟，则因相关的动作轨迹与特征本身属于未知的状态，此类验证用例设计需要更富创造力与想象力。因违规主体的目的是绕过各类防护规则，甚至有些人会对公司的防护策略有一定了解，譬如高权限运维人员或者公司高管。这类验证用例所对抗的是各式各样的人性与个体，其设计过程更多的需要参考业务风控模型的建设思路，围绕着核心业务的保障诉求，对“异常”的业务操作进行模拟。这里的异常涉及非常强的业务属性，可能是一些频率异常、时间地点异常或者业务逻辑上的异常等等。

3.对验证用例的结果校验逻辑闭环设计

每个验证用例需要不同的技术实现环境，也导致其获取校验数据的格式与方式都有所不同。对于验证用例需要明确如何判断验证结果的逻辑以及技术方案。整体原则仍需遵循“预期”与“结果”的比较。对于“预期”的设计要有处置结果、响应覆盖、时效延迟等不同维度的考虑。同时，在“结果”的解析过程上也需要建立对应的规则或者验证模型类算法。

校验逻辑首先从结果上不能出现模糊结论。基于攻击模拟的有效性验证结果应该只有“有效”或者“失效”两种结果，不能出现类似“可能有效”的结论。如存在数据质量问题时，应优先采取数据过滤或清洗等策略，对于无法获取到明确数据时，应先将验证结果进行无效化。对于指标类的验证结果数据（如响应时间、延迟时间）等，也需要将验证获取数据形成明确的数据，也可以设置指标数据的基准线，并基于基准线判断其有效（达标）与失效（未达标）。

4.5 策略制定

在验证任务的执行过程中，需要根据企业基于风险偏好的安全验证需求，设置任务调度的各类策略与参数设定。根据任务执行策略，需要以自动化批处理引擎执行验证任务与度量结果的计算。任务策略的制定过程需要关注以下几个方面：

• 验证用例范围/场景的选择：根据验证对象与期望产出的度量结果，筛选或设计最优的验证用例组合；

• 验证目标的选择：验证用例通常是基于某类防护措施或者场景而设计，而具体执行验证任务时需要将类型具象化到对应的具体资产对象；

• 验证路径的选择：需要验证的对象与目标，会影响验证任务发起及经过的路径，也会对验证拓扑产生影响；

• 计划任务策略的制定：执行计划策略通常包括执行周期、执行计划时间、任务失败应对策略等等。

5. 八大应用场景

验证场景是对安全验证诉求最直接的反映，是为了满足实现安全验证应用价值而组成的整合方案。安全验证场景是由安全验证用例组成，但不是单纯的安全验证用例的排列组合。根据验证应用场景下的需要，除了需具备基本的安全验证用例外，还需要对不同的部署架构、验证环境、数据条件、结果判断方式等差异进行设计。

5.1 防御态势感知

现在的态势感知都是基于攻击视角，识别攻击行为，针对攻击事件进行处置。缺乏防御视角的可视化展示，无法快速了解防御体系的现状和问题，没办法知道防御体系的改善。

现在，依据既定的批量计划任务，安全团队可以每十分钟或每小时执行一次预设的验证场景，以此持续监控不同场景下的安全性能，并及时发现潜在问题，例如“安全设备短暂中断”、“实时检测功能延迟”以及“功能模块异常”等。每月，通过在现网环境中使用攻击验证节点对靶标验证节点发起模拟攻击，并借助自动化闭环分析来评估结果，运营团队能够根据验证报告为失效策略制定改进计划并进行优化调整。这样就形成了常态化安全有效性运营。

通过常态化的有效性验证，可以检验安全策略在真实环境中的效能和稳定性，形成基于攻击效果的度量评价验证结果。将这些结果数据以图形化的方式展现；每一个真实的防御部署可看到动态变化的防御能力，形成基于防护场景的总览视图，基于真实防护拓扑的大屏视图，实施掌握全网内的安全防御能力，实现“一张网、一张图”的布防态势展示。

5.2 勒索防护

在勒索防护能力提高方面，已经加强终端、网络、边界侧的针对性防护措施，例如增加了防勒索模块、增加了漏洞排查的频率等，防护能力有了一定的提高，但效果如何？还需要建立常态化、自动化的检查机制，不断的发现脆弱点，及时的修正，形成螺旋式上升的局面，不断的提高防护能力。通过模拟勒索软件从感染植入、传播扩散到加密勒索这三个关键阶段的多种行为模式，系统地收集已部署防御体系的拦截与告警数据。随后，利用自动化比对技术，对这些拦截和告警结果进行深入分析，量化评估防御体系对勒索组织各类动作与行为的有效拦截率及告警准确性。真实反映企业的勒索防护能力，为达到如上效果，有效性验证工作分为三个阶段：

1.感染植入阶段验证

在感染植入阶段，全面模拟勒索软件入侵的初始步骤，以检验防御体系的初步响应能力。在边界防护层面，通过勒索常见的高危漏洞的攻击，模拟黑客利用这些漏洞对边界进行验证。同时，在邮件安全方面，模拟多种形式的勒索病毒邮件攻击，包括伪装成合法邮件、附带恶意附件或链接等，验证邮件安全效果。此外，在终端和主机层面，通过多种勒索软件家族样本和域名请求模拟，验证终端安全防护和主机安全防护的真实防护能力。

2.传播扩散阶段验证

进入传播扩散阶段，重点模拟勒索软件在企业内部网络中的扩散和蔓延能力。这包括模拟勒索软件利用横向移动技术、RDP3389 端口进行爆破攻击模拟，验证访问控制策略。此外，模拟勒索组织通过域名请求下载恶意样本、建立持久化驻留以及与C2 服务器建立通讯的行为，以评估防御体系对勒索软件持续威胁的监测和阻断能力。同时，我们还加入了模拟批处理脚本的执行，如移除防病毒软件、关闭数据备份服务、拷贝敏感数据等，以测试防御体系对恶意操作的识别和响应能力。

3.加密勒索阶段验证

在加密勒索阶段，模拟勒索软件的核心破坏行为，以评估防御体系在最后一道防线上的表现。这包括模拟勒索软件对目标文件系统的加密操作、模拟锁定与破坏、模拟数据销毁或篡改，以验证终端/主机的防护能力；通过这些模拟攻击，全面揭示防御体系在应对勒索软件攻击时的真实能力和潜在失效点。

5.3 自动化安全巡检和监控

在参与国家级、省级、行业的网络攻防工作时，渗透测试和红蓝对抗演练已经成为常规化的关键验证手段，用来检验自身的防御效能。然而，这些手段主要集中在有限的攻击路径上，难以全面覆盖并评估整个防御体系，因此存在缺乏有效全面评估方法的问题。

为了验证防御策略的有效性，须从纵深防御体系的角度出发，审视同一攻击手段在纵深防御各个层面的检测能力，从而识别防御体系中的薄弱环节。应当特别关注验证演练中频繁使用的攻击手段和关键环节，并根据目前所使用的设备，精心设计相应的验证场景和测试用例。在正式演练开始之前，对自我安全防御的有效性进行严格验证，是一个至关重要的步骤。

5.4 分支机构检查

面对集团型企业拥有众多分支机构的复杂场景，通过集团部署的验证平台，实现对分支机构统一化、标准化验证动作的执行，基于验证结果直观呈现出不同分行防护真实情况，及时发现失效，有针对性的补强。

统一标准化验证：区别于传统人工渗透和检验的非标准化，基于平台实现统一、标准化攻击验证，实现各分行验证结果的统一标准化对比呈现。

体系化评价考核：基于平台，实现对不同攻击类型、绕过方式、漏洞利用等多维度攻击向量，体系化的验证，能够实现对各个分支机构基于数据实现体系化评价考核。

提高全集团防护水平基线：通过标准化验证手段，实现对分支机构的防护能力摸排，及时暴露防护风险和问题，有针对性的提高或补强，全面提升全集团防护水平基线。

5.5 对驻场厂商的安全监测能力进行检查和验证

通过有效性验证平台发起的各类社工攻击构造，在企业内组织人员安全意识演练，及时暴露风险，可视化评估输出，统计安全意识薄弱人员，并针对性提供防钓鱼意识培训，从而降低因钓鱼邮件攻击造成的破坏或损失。

5.6 纵深防御

通过模拟常见的APT组织手法、实战攻防入侵手法等，让安全运营人员了解在完整的攻击链路中安全防护的缺失点，能够以真实事件的方式展示防御效果，让企业管理层对安全防御有更直观的感知。同时，可以通过手动创建多链路的用例场景，验证用户在SOC上建立的基于多维度判断规则，避免策略调整后出现非预期的失效问题。

5.7 数据防泄露

通过对各类型敏感数据文件通过不同渠道的外发、及外发过程中各类变形和绕过手法的模拟，验证数据防泄漏的策略状态、提升对敏感数据外发的检测能力。以评估现有数据防泄漏安全策略在防止内部威胁方面的有效性。通过持续的数据泄露模拟和验证，企业能够不断优化其数据防泄露策略，提高整体安全防护水平。

5.8 信创安全

伴随信创的推进落地，企业所部署的系统、网络、安全等产品陆续进行信创改造的同时，也引入了信创相关的安全风险。以网络安全防护为例，信创环境下的安全防护是否与之前的部署防护效力一致是需要企业重点关注的方向。通过信创安全验证，可实现对信创终端防病毒/EDR、信创终端数据安全产品、信创主机安全产品等的有效性验证。帮助企业第一时间发现和优化信创安全产品防护效力不一致、兼容性问题导致的告警延迟甚至丢失漏报、面对新的信创系统/组件漏洞、攻击工具的防御能力受限等问题。

6. 落地指引

6.1 整体工作概述

由于每个企业的业务系统、网络架构、安全管理策略和技术防护策略都有所不同，因此需要根据自身的风险偏好来开展相应的安全有效性验证工作。该工作可以分为四个阶段：验证准备、验证执行、结果分析和持续改进。通过这四个阶段的实施，可以确保安全防护体系适应不断变化的风险情况，并逐步提高安全防护水平。

图 12 ：安全有效性验证工作开展各阶段

6.2 验证准备阶段

6.2.1验证方案

验证任务方案需要明确具体执行任务的计划参数，以便验证任务能够准确执行。通常需要明确以下内容。

• 验证场景：验证任务的执行通常是为了满足其中某一类场景而设置；

• 验证对象：基于不同的验证场景下，需要明确具体要验证的目标对象。可能是基于某个物理、网络范围的全量设备，或者基于业务网络链条而选择的部分样本设备清单；

• 验证网络架构：需要达到的验证目标或设备的不同，会使得验证任务执行的网络架构会有较大的差异，包括验证任务执行的网络数据流及各类验证资源的部署位置，会对验证资源投入的影响产生较大影响；

• 验证执行计划：一般验证任务都会按照计划任务的形式自动化执行，而对于验证计划相关的策略中，需要明确验证任务执行的时间、是否重复、重复周期等内容；

• 验证结果展示方式：通常验证产出的结果会形成标准化格式的数据报表或结果，但为了能够更加符合度量结果的应用，必要时可以进行进一步的数据加工或者数据看板的开发。

6.2.2资源准备

在确定验证方案后，需要根据验证方案的需求准备相应的验证资源与验证环境。通常需要考虑的验证资源包括验证计算资源、验证网络策略及其他外部资源等。对验证资源产生较大影响的因素主要有以下几点：

• 对数据整合复杂度及对接解析的安全设备日志数量的需求，会对服务端控制台的资源产生影响；

• 验证目标需覆盖点位完整度的程度，会影响攻击验证节点与靶标验证节点等终端设备资源的数量；

• 对于跨网络区域的复杂验证场景，或者有特殊的业务访问关系的验证任务，需要对应的评估各类的网络权限开通情况；

• 针对部分特殊的验证场景需要准备特殊的验证资源。如验证邮件安全场景需要准备个邮箱账号、需要验证互联网攻击则需要公网资源、特定的业务规则验证需要具备对应的业务数据资源或样本等。

6.2.3验证协同预备

在执行基于攻击模拟的验证工作时，可能因为产生各类告警信息，对运营团队产生干扰，影响对安全事件的误判。通常在执行验证任务之前，需要与安全预警处置团队或验证目标的监控团队进行同步，对相关验证任务进行加白处置或对告警进行过滤。通常，用于过滤验证任务时可以基于以下积累信息开展。

•  验证任务执行时间段：如果是周期性任务则需要明确一个验证任务执行窗口时间；

•  验证任务发起源地址：通常可以设置固定的验证任务发起端IP，结合验证时间进行过滤；

•  验证任务数据包特征：可以基于模拟攻击的攻击特征、攻击类型或者数据包的特定关键字进行过滤。

对于验证任务的过滤应适用于事件响应过程中，对事件研判的逻辑与规则里，是为了避免发生处置动作的误判。不应基于验证任务的特征，在验证目标上进行告警特征的匹配或建立告警模型，这样会影响验证结果的有效性。

6.3 验证执行阶段

6.3.1攻击路径的编排

在大部分的企业防护体系的设计中，会在不同层级技术架构中设计不同方式的防护措施组合，对核心资产与数据形成纵深维度的防护保障。对于入侵者视角来说，也会形成需要突破或绕过各种不同的措施，形成完整的攻击链条。能够模拟这种基于全链路的攻击模拟行为，将有助于形成评估整体纵深防御能力的评价视角。

另外，由于数据资产的访问路径不同，也会经过不同的防护设备。即使是在相同的防护设备保护下，相关设备的策略不同也会产生不同的防护效果。基于这种业务数据流视角上，根据不同的防护策略而形成的攻击路径也是形成编排脚本的依据。

6.3.2验证任务执行过程保障

在验证任务计划执行过程中，需要监控任务执行状态是否正常完成，避免因设备性能问题、运行环境变换、网络策略阻断、任务配置错误等原因导致的验证工作失败的情况。对于周期性执行的验证计划任务，需要跟踪确认周期性任务是否执行成功并形成了闭环结果。比较常见的会导致验证任务执行失败的情况如下：

•  验证相关资源或网络策略的部署过程存在错误，未满足验证用例执行条件；

•  在用例执行过程中，触发了网络安全自动化的响应处置机制，对验证任务进行了封堵；

•  验证目标或验证设备出现了性能瓶颈，导致任务无法正常执行；

• 验证执行用例或脚本存在错误。

6.3.3验证数据异常排查

在首次运行验证用例时，通常需要对验证用例执行数据的准确性进行校验。数据异常根本性的原因是在自动化验证闭环的逻辑与机制上出现了问题。这个过程需要有较丰富的实践积累与调试过程，在具备了较为庞大的结果数据基础能够使结果趋于稳定。数据异常的原因有可能是因为验证用例设计的问题，也有可能是对于一些特殊的防护机制或验证的环境出现了变更，原有的校验逻辑无法满足的情况。

6.3.4验证典型场景频率

通过对金融、央企、制造业等单位的调研和验证实践，这里罗列出典型验证场景和验证频率，帮助企业安全团队有针对性的高效执行安全验证工作。

6.4 结果分析阶段

6.4.1运营评价基准制定

为了使验证任务产出的量化结果能够更具备治理价值，需要制定对度量结果具有参考意义的治理基线。治理基线的制定是来自验证工作方案与治理需求。比如，初次进行安全能力评估时，可以借鉴行业内的参考基准数据作为治理目标，制定优化策略。而对于已经处于常态化运营的验证模式下，可根据自身防护水平形成一个验证能力度量值作为基准线，持续验证安全能力出现降低或偏离的情况。运营评价基准相当于以量化的形态展示企业的风险偏好或风险容忍度，并以此为基准对安全防护能力进行评价，进而得出后续的优化整改策略。

6.4.2防护失效点及原因分析

根据验证任务执行结果，可以总结排查出各类防护失效的问题。对于此类失效点，需要建立完整的运营流程进行根因分析并推动整改动作，形成完整的闭环。特别是需要关注数据展现有明显的能力缺失或者突然下降的情况。通常此类问题都会衍生出如防护模块缺失、策略出现重大缺陷、覆盖度不足、防护架构存在缺陷等较严重的问题。

6.4.3整改修复验证动作

在完成各项失效点的修复工作后，需要通过针对性的验证复测来确认修复动作是否达到了预期结果。复测验证作为对问题修复结果确认的必要动作，需要在各类验证结果核实的场景下应用。如：

•  对各类验证任务的修复结果进行复测；

• 在安全设备变更流程中对变更后的影响进行验证；

• 在安全设备上线环节中，对设备上线前的验收验证。

6.5 持续改进

6.5.1验证体系的持续改进

在完成了一轮验证工作后，需要对验证体系跟过程进行回顾与总结，使验证体系整个过程能够持续优化改进。验证体系的优化通常从以下几个方面进行评估：

• 对验证用例执行逻辑与技术方案进行回顾，确认是否有更优的执行方案；

• 对验证目标范围进行评估，确认是否能够增加更多的验证场景覆盖；

• 回顾验证工作执行的流程，确认是否需要提升的空间；

• 评估验证展现形式与数据格式，确认是否有更优的展现形式。

6.5.2评价体系的持续改进

在度量验证形成治理工具时，通过持续迭代建立基于度量结果的评价体系，是将度量结果转化为行动指南的重要参考，也能形成对所管辖单位的管理抓手。除了前文所提及的运营评价基线需要持续回顾进行持续改进外，如果基于度量结果形成评价评分机制时，也需要对评价体系进行回顾，是评价结果的指导意义更符合治理诉求。

7. 价值意义

7.1 实现防护能力、运营能力精准提升

以往，要提高安全防护能力，主要通过人工检查或厂商推荐的方式，对人员依赖较大，缺少针对性，常常出现与实际情况不符、整改效果不理想的情况。通过有效性验证，可精准到每一个攻击手法防护是否有效，准确定位安全防护的短板（能力不足）和失效点（有能力但没起作用），给出有针对性的整改建议。

第一时间了解最新的安全攻击信息并通过安全用例自动化的在企业内复现和验证，检验企业当前的安全防护能力；在掌握当前安全防御能力前提下进行针对性改进，全面提升企业安全防护能力。发现安全措施和策略失效风险所在，解决问题从而逐步提升用户自己的能力和水位。

第一时间掌握最新漏洞利用、攻击工具和手法，自动化验证当前的安全防护效力。针对安全能力失效，给出相应加强和提升建议，实现最新攻击跟踪修复并指导验证。

多品牌、多版本的安全设备，通过安全有效性验证，拉齐安全策略基线，实现安全防护效果的一致性。例如分析安全工具配置或重复攻击场景运行，检验真实的防护效力是否与预期一致，实现安全防护效果一致性。

7.2 自动化策略巡检，为安全运营降本增效

将以往通过安全运营人员人工验证转为全自动化闭环验证，解决手动模拟的覆盖度和执行稳定性问题，解决人工查看告警判断失误的压力。同时，可有效提高验证效率，人工验证主要由安全规则梳理、手动攻击模拟验证、人工查看安全设备和规则触发情况，效率低，见效慢，自动化验证可以极大提高验证效率，过去这些安全设备需要投入3个人全职监控安全设备及策略运行状况，现在只需要1个人兼职即可完成。持续性的 7x24 小时全天候验证评估，帮助用户先于攻击者发现安全策略失效点，缩短失效点存在点时间周期，及时解决，降低失效导致的攻击风险。

7.3 可见的安全度量与投资回报

通过安全有效性验证，可以清晰的将当前安全能力的实际状况进行呈现，并且未来随着问题整改带来的安全能力提升，用户持续的验证可以得到数据累积，通过不断的自我完善会得到一个安全能力上升的趋势值，可清晰地把安全团队工作价值量化呈现。且可让管理层清晰地了解，公司整体实际安全防护能力是什么样、可抵御什么样的对手；以前是什么样？现在比之前好多少？

验证数据给出量化的、可视化的安全全貌、安全指标，指导安全运营投入，安全投入回报可见，有针对性的、有方向的投入和强化，让安全建设资金高效使用。

验证的直观数据，可清晰了解安全防护能力对各类攻击的实际抵御情况如何，哪些可检测、哪些不可检测，一目了然，让安全管理做到“心中有数”。也可回应管理层对防护成效的疑虑：安全防护，是基于运气好，还是确实防住了？

7.4 监管分支机构的可靠抓手

对分支机构和子公司、海外机构的防护能力进行评估，过去只能通过人工检查或者问询方式执行，对人力水平要求较高，且无法验证真实性。依托安全有效性验证的能力，7×24 小时常态化评估分支机构、子公司及海外机构安全防护力，以实战化维度快速精准掌握真实情况，及时发现防护失效，给出有针对性的指导。

实时上收分支机构数据，了解各分支安全验证状态，掌握安全防护能力，及时给出支持与指导。基于量化的数据统计实现对各分支机构的量化多维考评。

集团级用户的安全管理部门（总部、风险管理部）可以通过安全有效性验证发现的问题作为监管的依据，从而对下属单位或者其他部门进行监督和管理，保障企业的整体安全能力。

8. 行业客户案例

8.1 金融行业应用案例

8.1.1背景介绍

当前我国金融行业业务已经高度信息化、自动化、流程化，为用户提供的所有服务和日常运营基本都依赖信息系统开展。而作为强监管行业，银行正常展业需要具备一定的信息化治理能力与信息科技风险管理能力。同样，作为信息化程度高，涉及业务与数据敏感，银行业也面临着严峻的内外部威胁。银行业网络安全工作起步较早，等级保护与监管部门的各类措施落实，已奠定了基于纵深防御体系的安全建设基础。通过持续的安全运营，定期开展渗透测试与攻防对抗模拟演练，银行业普遍已具备了较全面的技术、流程与人员整合的综合防护体系。

8.1.2痛点及需求

在实际开展攻防演练或日常运营工作中，总是存在因各类问题引发的业务资产未覆盖、设备常年失效而未知等较低级的安全防护失效点，导致整个防护体系的失守。公司已建立了完整的运维巡检的工作流程，也通过运维平台会实时监控设备运行状态。但在对过往安全失效情况进行追踪溯源后发现，大量因IT 或业务变更、人员操作不当、防护架构或设备存在缺陷等原因无法用现有能力或技术手段解决。而此类问题被纰漏多次后，安全防护的真实能力被受到质疑，且运营团队也面临较大压力。

• 公司对已部署安全设备日常巡检通常是关注性能与设备运行状态，但仍会出现防护设备失效的情况。此外，众多安全设备的策略配置与使用过程中，难以保持安全能力持续生效，缺少手段保证“应检尽检、应查尽查、应拦尽拦”。

• 依据“以攻促防”的工作理念，公司定期会开展内部与外部的红蓝对抗演练，对产品也会持续开展渗透测试。另外，也会每年开展内控自查、风险评估自查等动作对安全防护能力作验证，但这些手段都耗费资源较大，且不太适用于持续性的日常运营管理。

• 在开展安全运营持续优化的工作时难以形成度量评价，安全防护整个状态与能力处于不可见的状态，运营日常工作缺少指导。领导层也多次提到对于安全度量的诉求，在治理与决策中安全无法提供可供参考的量化数据。

8.1.3落地方案

根据客户的具体痛点与业务场景，分析当前的网络布防情况与运营体系进行了确认调研，并基于离朱有效性验证平台的能力设计了完整的验证方案。将基于实战模拟的攻击验证用例结合各个不同的验证场景，对验证逻辑与架构进行部署搭建，通过全自动的闭环验证任务逻辑下，形成各种维度的数据产出支撑各个应用场景的实现。

图 13 ：安全有效性验证落地方案

应用场景1：全网安全设备常态化监控巡检

图 14 ：设备失效告警联动

对外网的所有防护设备每小时执行  2 个验证用例（筛选设备能力可正常告警的用例），根据各个设备能否按设计预期进行阻断或告警，确认设备是否正常运行。将验证批次与验证结果进行统计分析后，可呈现基于防护能力验证的业务连续性指标。通过数据接口将指标数据对接运维平台后可形成对安全防护设备更完整的监控。         

图 15 ：安全巡检任务状态看板

应用场景 2：对互联网攻击面的持续性覆盖度验证

通过公网攻击验证节点每月对所有的互联网暴露的业务资产执行少量的验证用例，通过边界阻断以及告警的情况确认网站是否处于正常的安全保护下（IPS、WAF、NTA等），对互联网资产建立攻击面管理能力，避免违规操作、运营不当、架构变更等导致的互联网业务未受任何保护就暴露在公网的情况出现。

应用场景 3：基于防护能力百分比生成度量数据

将各类不同场景下的安全验证用例的结果进行模型统计与度量，形成基于实际攻防能力的量化数据结果。度量结果对应到公司的运营与考核体系当中，在整个运营优化过程中形成围绕指标的优化工作方法，并以指标结果开展对人员组织（包含外部供应商）的管理与考核评价。

8.1.4 实现价值

通过安全能力持续验证进行监控发现故障点

在持续的有效性验证监控的工作中，随着安全能力值的突然变化，发现了各类安全设备故障点。其中除了设备性能故障、业务突增等原因外，也发现了日志丢失、日志延迟等隐蔽性较强的问题。部分故障发现问题后立即完成了修复，另也启动了对设备扩容的采购工作。

精细化运营落地，安全防护能力大幅提升

从安全有效性验证完成部署开展第一次验证时，安全整体防护能力为 78%的防护有效率，通过持续运营的策略调优，安全防护能力提升为 92%，各个设备独立的防护能力提升累积达到了 176%。将各个防护策略与规则的效果直接量化展示后，直观的对需要优化的短板进行快速排查调整，使整个防护能力处于行业较高水平。

对自研的流量监测设备优化支撑，产品防护力大幅提升

安全团队自两年前开始采用开源软件 Suricata 进行流量异常监测设备的自研。自研设备投产后苦于无法对产品能力进行能力评估，无法看到产品实际效果。在安全验证平台上线后，运营团队围绕着安全验证对自研流量探针的验证结果进行产品与规则优化，产品检测能力自最初的32%提升到了 78%。

形成基于防护视角的态势感知看板，将安全能力可视化

生成 17 项标准产品能力验证指标以及 15 项定制化场景下的验证度量结果，形成了将安全防护能力的度量量化评价能力。指标数据应用于对防护短板的优化依据、运营策略调整参考以及运营决策治理工作中的抓手。对分子公司与机构的安全评估中，也成为了安全风险评估中非常重要的客观数据输入。

8.2 能源行业应用案例

8.2.1背景介绍

经过数十年的发展和演变，某能源企业已成为我国重要的骨干型大规模集团化公司。涉猎能源、投资、物流等多元化综合性业务的经营。企业经营持续向好，伴随着业务的快速发展和各分子公司的规模化扩张，网络安全风险和问题已成为摆在管理者面前的重要课题。企业长期以来高度重视网络安全的建设和应用，从早期的以防火墙、IDS、防病毒“三件套”实现的基于网络边界防护的安全建设，到基于纵深防御体系各类安全产品和平台的层层部署，再到安全运营和威胁情报联动实现的基于平台的各类安全编排自动化与响应，从体系化、实战化角度构建了较为全面的防御体系。

企业作为关键基础设施的运营单位，面临着非常大的网络安全防护压力，每年都需要承担国家重大事项工作期间的网络安全保障任务。其中，近些年定期开展的国家护网行动的工作期间，都会作为每年全公司网络安全最重要的保障任务之一。企业也会每年开展模拟攻防演练在护网行动之前进行一次全面的安全防护练兵。

8.2.2痛点及需求

企业每年为迎接重保及护网工作需要投入大量的人员与经历对现有防护体系进行摸排。在以往的摸排工作中，主要是围绕着资产侧的脆弱项进行排查，对各个分子公司众多防护设备策略及防御体系的有效性确认一直是个盲区。之后开展的模拟攻防中依旧会暴露出各种问题，出现多个分子公司被突破的情况。在对各种问题复盘的过程中，发现很多的问题不是出在资源本身的漏洞问题上，而是因很多运营过程中存在的人为失误或配置不当导致的防护体系未能生效。

• 在护网与重保工作前的安全问题排查整改中，通过安全验证工具对现有所有安全设备防护能力进行全面的排查，对防护体系中所存在的安全失效风险进行识别，作为整体排查整改工作的输入项。

• 建立覆盖主要防护设备与业务网络区域的安全能力持续验证能力，避免在重保及护网期间安全防护能力突然出现失效的情况。

• 在重保与护网期间持续跟踪最新热点 TTP 情报，并基于自动化安全能力验证能力快速开展安全攻击行为的防护缺口排查。

8.2.3落地方案

图 16 ：能源行业落地方案

（一）安全防护能力全面验证摸排

根据企业实际纵深防御架构的情况，在互联网外侧及内部网络分别部署了安全验证资源，发起对各类验证场景的模拟攻击。同时将安全验证平台实时对接各类设备的告警日志及SOC 平台日志，形成自动化闭环验证能力，形成排查工作的结果依据，也作为后续持续监控的自动化手段。另外，根据内部网络区域不同的安全策略的情况，分别部署了多个验证靶机作为实时开展验证工作的攻击目标，以降低对生产业务的影响。验证工作主要通过不同的场景覆盖整个纵深体系，整个过程中发现主要问题如下：

边界防护场景

• 发现近 20% 的互联网域名未在 WAF 和 NTA 覆盖范围内，互联网业务直接暴露在公网， 其中有部分是因域名管理不当造成，也有一部分是域名 HTTPS 证书未提前卸载导致全是加密流量无法被防护；

• WAF 策略开启宽松，对一些常见的漏洞利用和绕过手法无法有效的检测拦截，边界防护中对漏洞利用攻击的感知有较大隐患；

流量安全场景

• 总部及分公司的部分流量安全检测设备处理流量稳定性不足，对异常事件告警存在 30% 以上漏包；

• 发现内部某网络区域的交换机镜像配置存在遗漏的情况，对该区域的所有异常流量均无法进行告警；

• 整体的防护措施上，对隐秘通信隧道、端口转发类的情况预警能力不足，所有防护措施均无法有效阻断或预警。

邮件安全专项

• 发现邮件安全网关无法对投递的 rar 压缩包格式的远控木马进行拦截；

• 发现邮件网关无法针对匿名伪造进行拦截。

（二）重保与护网期间的安全持续监控与 TTP 快速排查

根据重点保障期间的工作部署要求，企业部署落实了不同运营保障团队的工作要求，包括期间对安全配置与规则变更提出了更严格的流程管控，以确保排查整改后的安全能力持续有效。而作为辅助性监控手段，增加了对安全防护情况实时巡检监控的措施，未发现因特殊情况下安全设备突然失效的情况出现。巡检监控整体策略如下：

• 以单个安全验证用例每天一次周期性验证遍历所有的验证靶机目标，并设定预期告警目标作为有效性研判标准；

• 基于验证研判标准覆盖 WAF、IPS、IDS、NTA、HIDS、防病毒、SOC 等设备的连续运转情况；

• 在事件运营过程中，事先协商攻击验证节点 IP 地址以及告警特征进行响应处置排除。

8.2.4实现价值

完成了对防护措施的排查，脆弱项识别覆盖全部体系

在开展内部攻防演练之前，仅使用一周的时间就完成了对安全防护措施的有效性验证工作。通过安全验证与内部资产脆弱项工作结合， 对整体的网络安全体系开展了一轮全面体检，快速补防加固识别到的安全短板。

在护网期间确保了安全防护措施的持续有效

根据在事前部署的安全监控巡检方案，持续对安全设备进行验证确认，确保了所有安全设备与保护措施能够持续有效。在攻防演练、护网以及重保期间，发生过多起安全设备告警链路异常情况，通过安全有效性验证及时发现并做出了响应。

支撑最新的攻击手法进行快速的排查封堵

护网期间频繁出现新的攻击手法与情报，企业已形成了完整的基于情报进行封堵 - 验证的策略变更流程，确保整个护网期间的封堵策略及时、有效。

“一张网、一张图”的布防态势

在集团范围内形成对各管辖分子公司的全网联防联控统管，形成基于攻击效果的度量评价验证结果，实施掌握全网内的安全防御能力，实现“一张网、一张图”的布防态势展示。

8.3 通信行业应用案例

8.3.1背景介绍

随着电信行业 IT 规模的增长与复杂度的不断增加，内网安全防御的边界不断扩大，每年的网络防御成本也在上升。两部委检查考核、集团监管及创新要求、以及自身安全运营需求，让省公司运营商企业开始考虑如何通过新技术方向能更好的在运营效率和效果上有突破性进展。

为此，某企业提出了安全防御有效性验证平台新建项目的建设需求，在有效性、实时性、可用性等维度全面验证和监测企业内各种安全部署，从实战攻防对抗角度开展持续性模拟攻击验证，确保安全防护策略有效运行；以自动化攻击验证闭环为核心，保障纵深防御各个层面的安全机制有效可靠。

8.3.2痛点及需求

安全运营中的问题

• 防护能力未全覆盖

WAF 已部署，但没有将应用全部纳入，部分网站的策略未开启防护，形成防护短板导致边界侧威胁和风险加大。

• 规则策略和预期不一致

已配置了规则策略，但实际攻防中并没有生效，导致防护效果和预期偏差较大，检测不到，不告警，直接被利用。

• 告警延迟甚至丢失导致漏报

延迟达 30 分钟态势感知才看到告警，甚至没有告警、日志漏包，大大降低响应处置效率。

• 最新漏洞利用和攻击是否能检测阻断

面对已部署的各类安全产品、规则策略，出现最新漏洞利用和攻击，运营人员无法在第一时间知道是否有能力检测或阻断。

• 领导的灵魂拷问

攻击事件是否能监控到？安全防护能力现状能不能量化？勒索病毒能不能拦得住？

安全验证存在的困难

• 基于人工执行的偶发验证

执行成本高、验证频率低。安全团队人员少，通过人工对安全设备的有效性进行验证的时间与人工成本高昂，对人员专业度依赖高。

• 受限的碎片化攻击验证

偶然因素大、验证不全面。每年定期的红蓝对抗查问题，发现问题是点状的，频率较低，安全设备节点众多、复杂的部署和策略规则依靠人工无法做到完整、全面的验证。

• 缺少对安全的可视化度量

难以量化目前的防护能力与上一周期相比的提升，以及与主流行业防护能力相比是否匹配。缺少度量数据，难以开展持续的防护策略优化与治理工作。

8.3.3落地方案

引入安全有效性验证能力，通过部署靶机和攻击验证节点，实现对边界防护、流量安全、主机安全、勒索安全和运营成熟度自动化验证。

图 17 ：通信行业落地方案

原理示例

图 18 ：通信行业方案原理示例

验证方案

验证效果

• 边界防护覆盖率验证

上百个业务资产域名URL，WAF 防护覆盖率 47%，NTA（两款探针）覆盖率 9%。经确认，其中 NTA 探针旁路流量接的是 WAF 前的流量，仅部分域名通过负载均衡卸载了 SSL 证书，大部分域名由于未卸载证书，导致 NTA 无法检测防护；

• 边界（WAF/IPS）安全策略验证

验证用例共3000+ 个，WAF+IPS 整体验证检测率 89%，WAF 单独验证检测率 86%，IPS 单独验证检测率 40%。发现其中 IPS 单独防护情况下整体检测率较低；

• 流量安全策略验证

验证用例2000+ 个，初验时检测率 不足20%，经过排查发现是流量安全检测探针设备部署后，厂商运营人员为了降低告警数只启用了默认的策略模板，安全检测规则开启率不足30%，导致大量攻击手法无法检测。将安全规则全部开启后，检测率提升至80%；

• 主机安全策略验证

主机安全整体检测率 85%，整体检测率较高，符合预期，对内存马注入攻击无检测能力；

• 勒索防护策略验证

主机和终端侧针对勒索加密文件的行为均无有效的防护手段，如果攻击者通过某些路径入侵到端侧，可以非常轻松的对主机或终端进行文件加密勒索。常见的攻击路径可以通过IM钓鱼的防止让内部员工执行勒索病毒等；

8.3.4实现价值

自动化高效的防护措施验证

自动化、持续性的 7*24 小时全天候验证评估，先于攻击者发现防护失效点。

全覆盖面防护有效性监督

按照过去人工的方式进行安全防护有效性验证，无法对整个网络和信息系统做到全覆盖面的验证，通过自动化攻击模拟技术和验证平台可实现对公司部署在边界DMZ区、生产域、办公域等重要业务区域的主机安全类产品、流量检测类产品、终端防病毒、WAF、防火墙等超过百个安全设备和数万个防护终端开展持续探活和攻击验证。

建设攻击模拟知识库，沉淀安全防御经验

安全防护策略有效性评估过去一直都是靠安全技术人员手动执行攻击完成，评估效果是完全依赖评估人员自身的经验积累和技术能力，且每次验证由于实施人员不一样，效果和结果也都差异非常大。现在可以通过构建攻击模拟的知识库思路，将安全攻击技术录入到自动化攻击验证平台中，就可以将安全专家的攻防技术积累下来，随着不断完善攻击知识库和完善提升防护策略，就可以将安全防御经验进行沉淀，未来可以在不依赖安全技术人员经验和能力情况下就可实现全面的安全防护有效性量化评估监督工作。

9. 探索和展望

一般来说，行业用户安全预算的投入分为三个阶段：安全建设、安全运维、安全运营。

安全建设只需要相对基本的安全投入，满足合规要求或基础的安全保障；安全运维需要围绕 IT 基础设施的平稳运行，投入更高的安全预算，目的是在系统、软件、应用等出现安全问题时，将安全损失降至最低；安全运营则是围绕用户业务，以体系化、流程化、自动化安全能力，持续从安全角度为业务提升竞争力。

对于“腰部及以下”的甲方用户来说，大多处在安全建设到安全运维这两个阶段，首要考虑的还是满足合规要求，采购传统安全设备及配套安全服务，即以最小化投入满足安全建设需要。这两个阶段的用户，由于暂未建立起完整的安全运营体系，因此完整的安全有效性验证解决方案便不在其考虑的采购清单中（对于连安全团队都尚未建立的甲方用户更是如此）。

相比之下，行业头部用户拥有经验丰富的安全运营团队，安全运营的预算投入一方面会更高，另一方面具有“可评估、可量化”的迫切需求。而安全有效性验证的对象恰恰是整个安全运营体系的有效性。即通过评估验证发现的有效点、失效点、空白点，持续提升安全运营的整体水平，为下一步安全预算的再投入提供指引。

因此，短期内，安全有效性验证的采购主力仍以行业头部用户为主。

但长远来看，无论从国家安全保障的角度，还是数字经济发展的角度，行业用户的安全预算投入一定会逐步增加，安全水平一定会得到整体提升。

这背后的逻辑在于，数字世界，万物互联，从国家到产业再到普通民众，越来越多的生产生活都将依赖于数字化。例如，国家间的博弈首先将是数字空间的竞争对抗，政府部门的为民服务都将依托于电子政务外网，大部分工业生产都将接入工业互联网，数据的第一属性不再是固定资产而是流动共享……

随着千行百业的数字化依赖程度不断提升，安全预算投入增加、安全保障水平提升，届时，将会有越来越多行业用户步入安全运营阶段。不仅如此，这一阶段还将会呈现出安全建设与安全评估同步推进，安全运营与安全有效性验证同步提升的状态。在这个过程中，安全有效性验证将成为必不可少的评估手段。

所以，知其安与数世咨询认为，未来，安全有效性验证将成为安全运营的必选项！