HiSec Insight | 基于标准化微服务架构重塑安全应用开发模式

陆春义

华为安全产品领域 大数据安全产品首席架构师

在移动互联网高速发展的今天，各类恶意软件层出不穷，时刻威胁着每一个企业、每一个用户的切身利益。

网络安全环境瞬息万变，你怕了吗？

根据不完全统计数据显示：全球每年新增恶意软件数量接近上亿，每天都能出现30万个以上的新的病毒样本。且随着数字经济的发展，用户面临的网络安全威胁也在不断增加。

网络安全环境如此复杂而多变，企业该如何快速应对？目前，行业主流的解决思路有两种：

1)引入自适应的安全框架（ASA，Adaptive Security Architecture）。通过持续地对安全威胁进行动态检测分析，自动适应不断变化的网络和威胁环境，并不断优化自身的安全防御机制，以提升安全检测与响应能力；

2)采用开放的微服务软件架构。通过架构开放，建立生态体系，发挥集体智慧，以微服务架构代替传统单体架构，重塑应用开发模式，提升网络安全态势感知专题应用的开发效率，持续丰富网络安全的专项检测分析与响应能力。

以下着重阐述第2种解决思路。

目前，业界大多数安全应用开发商采用传统的单体架构应用开发模式，即：“底层平台选型->数据接入->数据处理->数据治理->检测分析->前台展示”等环节，需要端到端通盘考虑，全部独立开发。

基于传统单体架构的应用开发模式，主要存在如下缺点：

开发周期长：一个应用从需求分析到完成开发、部署上线通常需要3~6个月，周期长，投入大，很难跟上外部恶意软件的发布节奏；

技术门槛高：大数据技术和安全检测技术发展越来越快，技术架构也变得越来越来越复杂，一个应用开发厂商掌握所有相关技术的难度可想而知，很难做精。

基于标准微服务架构重塑安全应用开发模式，你爱了吗？

要想解决当前单体架构应用开发模式存在的问题，开放、标准化、服务化是唯一有效的途径。近年来，随着云服务行业的兴起，基于微服务架构的软件开发模式已逐渐成为业界主流。那么，网络安全态势感知应用的开发为什么不能引入微服务架构，不能像搭建乐高积木一样简单、高效呢？

1.HiSec Insight服务架构

针对当前安全态势感知应用开发中存在的弊端，华为在HiSec Insight安全态势感知系统中率先引入了开放解耦、标准化和服务化的设计理念，全力打造安全态势感知领域的生态体系。

在整体架构设计上，华为HiSec Insight 基于分层解耦的原则，同时参照了其他行业相关的成功经验，将系统划分为四层，即：平台服务层、数据服务层、分析服务层和安全应用层。在每一层，可以将一个个功能都抽象成独立的微服务，并提供给安全应用层使用。

• 平台服务层

当前，许多安全厂商采用的都是开源社区Apache Hadoop或Cloudera CDH免费版(Cloudera Express)，在安全性、可靠性、性能、服务支持等方面均得不到保障。2020年2月4日，Cloudera宣布正式发布CDH6.3.3，宣布从CDH6.3.3开始，将不再提供免费版。对安全应用厂商来说，以后再也没有免费午餐了。HiSec Insight则基于华为自研大数据平台（FusionInsight），为上层应用提供Hadoop、Spark、Flume、Flink、Kafka、HDFS、Hive、Hbase、ES、Redis、GaussDB、图数据库等基础的数据计算和存储服务能力。

• 数据服务层

提供统一的系统日志、网络流量等不同数据源的采集、处理、治理、组织等功能，数据经过加工处理后最终形成统一的面向不同主题的各类安全数据库，如：日志库、事件库、资产库、漏洞库、情报库、黑客画像等，并以标准化接口形式对外开放数据服务。

• 分析服务层

提供面向不同主题的专项分析引擎和服务调用，如：日志分析服务、文件分析服务、情报分析服务、流量异常分析服务、攻击推理服务等等。

• 安全应用层

根据实际业务需要，直接调用平台服务层、数据服务层和分析服务层提供的相关服务能力，再通过简单的业务逻辑编排，以及少量定制开发，快速开发出新的安全态势感知应用，解决用户在安全运营过程中碰到的问题。

2.华为微服务引擎（CSE）

HiSec Insight采用了华为自研的微服务引擎（CSE，Cloud Service Engine），它是以开源的Apache ServiceComb为基础的，提供高性能微服务框架和服务注册、服务治理、配置管理等全场景能力；帮助用户实现微服务应用的快速开发和高可用运维；支持多语言、多运行时；支持Spring Cloud、ServiceComb（JavaChassis/GoChassis）框架和Mesher服务网格。

注： Apache ServiceComb是由华为公司最早贡献的业界第一个Apache微服务顶级项目。

• 微服务引擎技术原理

1）服务提供商启动时把服务注册到注册中心

2）注册中心把服务信息保存到存储中

3）Consumer启动时，从注册中心获取Provider的实例列表

4）Consumer获取后保存在本地的cache中

5）Consumer与注册中心建立web socket连接，只要注册中心provider列表有更新，就会通知对应Consumer

6）Provider定期（30s）向注册中心发送心跳。如果N次没有收到心跳响应，则注册中心删除对应的service实例。

7）Provider列表发生变化时，注册中心会通知Consumer。

8）从cache获取Provider列表，负载均衡选择一个具体的Provider实例进行调用。

• 微服务生命周期管理

华为微服务引擎（CSE）不仅是一个开发框架，同时还提供了完善的微服务生命周期管理能力。

• 安全应用开发与适配对接

由于HiSec Insight跟华为云上的ServiceComb是同源的，因此安全应用厂商可以借助华为云上的海量资源进行开发、调测，应用厂商只要在华为云上完成与CSE适配对接，就可以快速移植到与HiSec Insight平台上。

微服务架构已成为业界普遍认可的趋势。通过将微服务架构引入安全态势感知领域，将一个庞大的安全检测分析系统化整为零，降低耦合，独立开发，独立部署，不仅可以提高系统的弹性伸缩能力；更重要的是，通过公共服务能力重用，避免了厂商间重复造轮子，产生新烟囱，从而大大缩短了应用开发周期；从长远来看，通过实施分层解耦，让专业的人做专业的事，厂商更聚焦自身的核心业务，更有利于构建安全态势感知的行业生态体系，汇集众家之所长，方能创造无限可能。