「新数科技」陈传凯：云和分布式环境下的数据库智能管理

 

在12月18日下午的“分布式数据论坛”上，北京新数科技有限公司华南区总监、联合创始人陈传凯带来了《云和分布式环境下的数据库智能管理》的主题演讲。

 

陈传凯从数据库管理的背景和面临的挑战、分布式环境下数据库智能管理的建设实践、数据库云平台建设的经验总结以及分布式数据库的投产效益等方面进行了阐述。

 

陈传凯所在的新数科技成立于2014年，是国家高新技术企业，致力于为客户提供企业级数据软件产品和云服务。核心团队源自IBM、华为和SAP实验室，平均拥有10年以上的数据库核心研发经验，具备业界领先的软件开发技术、流程和管理水平，技术研发能力和深度处于行业前列。成立以来累计开发完成十多项数据库领域自主知识产权软件产品，为近百家大中型客户提供了专业的数据库管理产品和服务，包括金融、能源、医药、零售等多个领域的头部企业。

 

分布式是未来数据库发展领域的趋势。从“大集中”到“分布式”是螺旋上升的过程。“业务上做了集中，对底层的基础设施提出更高要求，基础设施就有分布式的趋势。”陈传凯表示。无论是传统的数据库，还是新的分布式，在落地使用的过程中，面临诸多挑战。

 

第一是架构变化带来的运维复杂性。最明显的区别是库变多了，表也变多了，分区、分片，包括底层的节点非常多，给整个管理工作带来了非常大的挑战。

 

第二是数据库规范完善，但落实困难。有很多数据库开发规范，但落地的时候非常困难，因为传统是要靠人去审这些代码，很难把这些问题都找到。

 

第三是开发和运维团队之间交互成本高。管数据库的团队一般是DBA，但是库的效率往往是由开发造成的低效情况。开发和DBA之间各自为阵，沟通效率非常低。

 

对此，新数科技提供了解决思路，即数据库云平台。数据库云平台是面向所有用户的企业数据库统一管理平台。其核心目的是向数据库运维团队和应用开发团队提供自助化、自动化和智能化的数据库运维服务。

 

数据库云平台有4个特点：1、支持高可用部署，系统中无任何单点故障；2、支持横向扩展，最多可以支持纳管上万台数据库；3、支持分布式监控数据存储；4、支持跨机房/网络分区部署。

 

陈传凯对数据库云平台的各项功能分别进行了介绍。第一是快速交付。数据库云平台主要是基于云的思维去管理数据库，比如MySQL、Oracle，包括很多架构都要去支持，不需要人工介入。底层与PaaS层做了对接，削减资源的时候，使用者不用去申请PaaS资源，可进行自动申请。

 

第二是统一管理。数据库云平台的后台集成了统一管理的功能，理论上可以做任何确定的事情。可进行自动化运维管理，降低运维门槛，规范运维操作，并全程可视化操作；可自助化操作服务，减少运维响应时间，提升运维服务吞吐量；做到安全可控，减少登录服务器次数，降低误操作风险，具有完备的权限管理机制和事后审核机制；集成工单系统，实现完备的审批流程，并提供API，实现DevOPS协作。

 

第三是监控和告警。包括实时获取监控数据，实时计算和处理数据，将数据推送至多个消费端；具备实时告警计算引擎，进行状态类告警、阈值类告警、基线告警等。

 

第四是分析和快速定位。包括可用性状态、数据库服务能力、数据库容量、数据库性能，并且提供从宏观到微观的数据库问题分析和定位机制。对于这个客户最关心的重点问题，数据库云平台基于一些场景做了专门的处理，并根据每一类问题的特征，快速找到问题的原因。“比如，客户的执行计划突然改变，我们通过工具化的方法，可以帮他一步步定位到原因。”陈传凯说。

 

第五是变更管理。完整的SQL变更流程包括审核、审批、执行、审计和复核。比如说客户要改数据却忘记添加条件，数据库云平台会就会提前审核出来，防止一些误操作。

 

第六是问题管理。能够做到在生成问题的基础之上，追踪问题从生成到关闭的所有阶段，提供完整的问题生命周期闭环管理机制。而告警和问题计算引擎则能根据预置的规则自动生成和关闭问题。并可集成客户的工单系统和通知系统，对问题自动生成工单，消除运维和开发团队之间的壁垒。

 

第七是一键生成各种类型丰富多样的报表，并进行自动发送报表，简单快捷。

 

在经验总结环节，陈传凯总结了数据库云平台建设的四大关键：一是要面向所有客户，打破开发与运维团队的屏障，实现面向应用开发人员的数据库自助化服务；二是平台功能可扩展性设计，做到门槛低、可靠、安全和开放。三是数据库云平台需要与现有的运维体系无缝集成，降低使用门槛。四是要分阶段建设。

 

最后，陈传凯与我们分享了一个银行客户的案例。在使用数据库云平台之后，实现了降本增效、提升数据库服务吞吐量和服务质量以及保障数据库管理规范有效落地的目标。陈传凯最后说：“DBA日常的工作，通过使用系统可以把时间释放出来。并且对于一些问题的管理，会呈现一个逐渐变少的趋势，不会累积。”