本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>
世界正在向万物互联发展,数据总量处于爆发式增长阶段。怎样更好的存储和利用海量数据,已成为了一个亟待解决的大问题。数据库是数据的基石,更好的分析利用好数据,需要一套先进的数据库。
当前,中国电信核心IT系统已全面采用天翼云自研的TeleDB数据库。TeleDB已实现核心系统100%替换,承载了3100多套系统,实现连续6年在网稳定运行。TeleDB在过去的多年中,持续创新,实现了3倍的查询性能提升,6倍系统界面响应提升,10倍实时批量效率提升,解决B域高峰期数据库响应慢等难题,支撑受理普通业务时长3倍降低,日订单峰值4.6倍提升。未来,TeleDB数据库将持续打造差异化数据服务能力,立足电信,拓展金融、政务、物联网等数据库核心场景,打造一站式全生命周期企业级云原生数据库服务。
数据库体系架构经过了集中式商业数据库->开源数据库+分布式分片->存算分离的云原生数据库三个阶段,这些转变,都是为了更好的适应业务发展的需求。
当前,天翼云已走过了前两个阶段,正在朝着“云原生数据库”的目标前行。以我们的经验和分析,在当前的云原生环境下,数据库面临着六大挑战:
1、资源利用率低。服务器的CPU负载常年在较低水平,磁盘空间利用率低,需预占资源,导致资源的浪费和成本的上升;
2、弹性能力差。硬件升级或设备故障更换导致扩展性受限于硬件条件,还会导致服务中断,无法满足万物互联时代暴涨的数据增加速度;
3、运维管理复杂。系统安装部署费时,迁移工作繁琐,需要运维团队具有充足的经验和长期而繁重的维护;
4、写扩展性不足。当前普遍采用主从架构,写扩展依赖于中间件SHARDING线性扩展,无法在单一副本上多写扩展,满足不了快速增长的性能需求;
5、请求时延高。分布式的系统更加依赖网络,网络时延不稳定导致系统效率降低。
6、研发成本重复投入。不同引擎多套架构,开发、测试、维护的成本较高。
如何解决这六大挑战?经过团队的探索,结合业内先进的技术,我们总结出了三条优化思路:
1、容器化改造,实现计算、内存、存储解耦,实现资源池化,让部署密度提高数倍,大幅降低成本;
2、实现存算分离,实现从主从架构到多主架构的升级,提升并发处理能力和弹性伸缩能力;
3、使用RDMA技术,实现访问加速,提升数据库整体性能。
这些优化思路要全部从零开始起步无疑是非常消耗时间和经费的。为了快速满足业务需求,我们选择和华为一起合作,进行联合创新,实现天翼云TELEDB+华为存储的强强联合。近年来华为在高性能全闪存存储、高性能NOF+网络方面都处于业界领先地位,我们看中的正是华为产品的高性能和高可靠。
当前,通过近一年的联合创新,取得了令人满意的效果:
1、通过容器化改造,实现敏捷交付、极致扩展、极致易用。
基于自研TeleDB Operator资源控制器,实现容器化TeleDB集群管理。
资源池化:解决了数据库部署密度低,资源浪费的问题;
敏捷交付:利用了容器云平台高交付效率、环境依赖解耦等技术优势实现了快速部署交付,极致交付能力;
极致扩展:自动伸缩,快速实现扩缩容,灵活动态分配;
极致易用:结合自研高可用集群架构的灵活性,可靠性,不依赖外部组件实现的故障自动切换;
2、通过多写使能插件,实现写性能提升100%,免分库分表,免应用改造。
传统开源数据库实例性能较差,单节点最大500GB~1TB,容量过大就需要分库分表,需要进行业务改造。使用多写使能插件后,从1主2从变为双主架构,支持线性扩展提升写性能,支持8TB大表性能无明显降低,免分库分表,免业务改造。
3、通过数据持久保护引擎实现存算分离,RTO<30秒,可靠性99.9999%。
传统开源数据库运行的服务器可靠性为99.99%,在主节点故障时,备节点需要回放故障时间点到上一次同步时间点的日志,数据恢复时间通常在分钟级,而改造后,使用企业级存储保障数据可靠性,通过RAID2.0技术,保障盘级故障数据库无感;SmartMatrix等技术实现99.9999%的数据可靠性。服务器故障后,通过EDP技术,降低日志回放量,实现秒级的故障切换。
4、使用华为数据加速引擎的多写使能插件、共享加速引擎、持久保护引擎,三大组件改造,整体TCO降低30%。
改造后,实现3节点变2节点,减少1/3的服务器数量;三数据副本归一,减少3倍的存储空间占用率;日志与页面能力下推至存储,降低数据库实例性能开销,单实例性能提升40%。通过这三大改进,最终实现整理TCO降低30%~50%。
未来,天翼云TeleDB将继续和华为携手共创,将RTO<10秒,日志即数据库,云上多租户,企业级两地三中心,内存加速,复杂算子下推等技术化为产品,持续打造云原生数据库,为中国电信“云改数转”战略提供持续的动力;为广大的客户提供高性能、高可靠、低成本的数据库服务。
免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。