一文解锁央企OA系统30万用户Oracle 8节点RAC国产化高效升级秘籍
"万物互联，数据和石油一样成为重要的战略资源，数据库行业不会一直是赢家通吃，市场上有大量的机会"，我在给新入职员工做培训时，销售部好兄弟张超电话打来告知我来活了嘿，下午一点到Costa碰面。
这是我入职人大金仓的第10年，早在大三时我就报名参加了人大金仓的免费培训班，毕业论文也是受到冯玉老师课程的启发，大学毕业后加入人大金仓，从一个实施工程师成长为高级项目经理后的第三年，已主导十多个信创领域国产化升级改造的解决方案。明月出天山，如何拿大单?
下午一点我准时到达约定地点，超哥乐呵呵的介绍了X央企的OA系统承载30万注册用户办公业务，系统采用的是国际巨头Oracle的8节点RAC进行支撑，沉淀积累了高达35TB的海量数据，拟定5家国产数据库厂商参加测试，超哥说已拿到前期测试名额。第二天，超哥和我拉着测试、技服等部门5位同事一起开会讨论：X央企的OA系统，界面种类繁多，业务流转逻辑复杂，提供了包含公文管理、督办管理、档案管理、档案利用、综合办公、个人管理、信息发布、用章管理、日常办公、综合行政、系统管理、业务管理等业务功能……
如何拿下这个大单?这是考验我们产品性能和技服人员的硬实力，要说压力挺大的啊。通过深入调研系统业务特点和原系统数据库应用情况，结合业务场景，要完成数据库系统国产化替代升级面临三重挑战：
这几年，我国信息技术自主安全和技术创新的问题得到了空前重视。央企、国内头部企业纷纷响应，IT系统国产化升级，进入到实质性阶段。基于X央企对系统升级的需求出发，我和研发、售前、测试、X央企的应用开发商进行了一周的反复讨论碰撞，对应用原架构进行梳理、分析，结合数据库的性能特性、高可用方案、异构同步能力等落地可行性，形成了新的解决方案架构。为保证系统运行的稳定性和可靠性，我们决定将系统拆分为集团OA和金融OA两部分，并将金融OA分省分批进行国产化升级的方案提交给超哥。
十年磨一剑，看花落谁家?
3个小时候后，超哥就来电说客户已通过我们的初步提案，下周一到现场和4家友商一同参与测试。和X央企国产化改造负责人开会确定测试流程，对承载用户数据量和运行时间进行实际测算，以及30万注册用户未来业务扩展后，海量数据翻倍增长时系统承载能力和上万并发时系统稳定性。2021年3月，金仓和4家厂商一同在X央企位于北京的总部大楼，开启OA系统初次POC测试、鲲鹏920+环境、TPCC测试、数据迁移及典型SQL压测、典型业务场景压测、应用适配……TIPS：金仓KES数据库的高性能特性提供内置150+优化规则、JIT(SQL运行时编译)与PLSQL编译执行技术、CSN快照优化、多核NUMA优化、进程核心绑定、进程池化、CAS原子指令级优化等高级技术，目前全国产环境(鲲鹏920两路芯片)TPCC测试，单机TpmC值超150w。
在1000、2000和3000并发的压力下，金仓实现毫秒级的快速响应(在两类关键业务场景中，平均响应时间分别为2ms和55ms)，性能超过其他参与测试的厂商，获得客户的一致认可。从第一轮到第七轮，历经半年时间，18项性能测试以及系统适配，金仓数据库指标最优。我不禁唱出了在希望的田野上。2021年7月，项目进入了投标准备阶段，我们都在紧锣密鼓的和研发、技服等部门沟通细节修改标书。8月中旬，迎来了X央企OA系统国产化替换升级项目招标的日子，带着厚厚一摞资料的我和超哥一起到了X央企总部大厦，刺穿云层的阳光就像根根金线闪耀着。在与4家友商公开竞标中，人大金仓再次高分胜出，我和超哥相视一笑。但中标只是项目的开始，成就客户才是目标。
举手可近月，实施见真章
项目中标后，实施团队按照解决方案的思路于2021年8月下旬正式开干。
1、满足高并发高吞吐量的要求
01)业务按部门进行拆分，由原来的央企OA拆分为集团OA和金融OA，逐步进行国产化替换，第一期金融OA替换，其数据量由原来央企OA系统的总数据量35TB分解成约18TB大小;
02)冷热数据分离，将占总量67%左右的历史数据拆分到历史库中(独立部署的读写分离集群)，金融OA的生产库中数据减少到6TB左右，进一步降低数据库压力，提升数据库整体性能;
03)深入调研系统业务特点和原系统数据库应用情况，该系统的读写请求比例大致为9:1，所以采用一主三备读写分离架构，可利用各只读备节点承接查询请求，有效降低主节点查询压力，提升数据库整体承压能力。TIPS：Oracle RAC多节点的问题分析通过集群件提供的全局高速缓存服务GCS使用高速缓存融合算法，来保证每个实例中的全局数据一致性，从而造成整体性能损耗;另外集群件还提供GES全局入队服务，控制对全局资源的访问，这也会造成性能的损耗，RAC节点越多，并发越大，产生的资源争用和串行化点越严重，造成的性能损耗越大。
2、X央企全国大集中OA系统平稳上线
01)在有限的时间窗口内，实施和研发团队7*24小时支持，使用金仓迁移工具高效完成全量数据离线迁移实施工作，从而保证应用开发人员和业务人员有足够时间进行内部测试，最终分省上线顺利，应用系统运行良好;
02)全量数据离线迁移完成后，采用在线增量数据实时同步工具KFS将金融XC数据库中的数据在线增量同步到金融非XC数据库中，从而保证金融非XC OA端数据库中数据完整性，当金融XC OA出现故障时，可以轻松切换回金融非XC OA;
03)通过逐步四批次分省上线，类似于试点+推广的策略，有更从容的过渡和磨合期，减少对金融XC OA系统全国产化的压力;4通过应用访问入口统一控制：分省上线用户将只访问金融XC OA，其他省用户只访问金融非XC OA;在不改变OA业务处理流程及分省上线策略的前提下，满足金融OA的跨省审批业务流程，且产品技术相对成熟，风险可控。
3、专业技术服务团队高效完X央企OA系统的国产化升级改造人大金仓中标X央企OA系统国产化升级项目后，通过五步高效完成复杂场景的国产化升级改造，并提升了X央企OA系统的运营效率：01)方案实施人员快速入场，同X央企、应用开发商建立联合工作组，形成问题处理快速通道;
02)一天内完成整体架构的安装部署;
03)紧密协同X央企的应用开发商，在两周内完成业务拆分、历史数据迁移;
04)经多次测试演练，达到9小时完成6TB+数据的完整迁移的性能指标;
05)通过一个月时间，分四批次完成全国31个省的OA系统整体上线。同时，搭建了基于KFS的双轨运行环境，以保障上线系统的数据完整性和业务连续性。
纸上得来终觉浅，人大金仓行致远
从2021年2月接到需求，到2021年12月X央企OA系统国产化升级改造的完美上线，作为高级项目经理，感触颇深的是，你全力以赴后，才会知道你行不行。现在，借助人大金仓创新的数据库整体解决方案，X央企的全国大集中OA系统正持续稳定运行，金仓数据库管理系统具备高可用、高并发、隐私、合规等数据库行业高标准，满足央企集团30万用户办公系统海量业务无损耗、数据一致性、数据安全性等全面国产化的升级改造需求，该项目的成功实施让X央企对金仓自主研发的OLTP数据库系统信心满满。在全球数字化和信息技术让数据流转加快的当下，数据存储、管理和价值挖掘已成为大型企业发展的刚需，人大金仓将以超出数据库行业的技术标准服务客户，一起点亮数字化时代的人间烟火。
