中培IT学院

上海某保险公司:MPP分布式数据库原理及应用培训

浏览:26次 作者:小编

1. 培训背景 

随着保险行业数字化转型的加速与业务数据量的爆发式增长,上海某保险公司原有的传统数据库系统在应对亿级保单实时查询、多维度业务分析及高并发数据处理时,面临性能瓶颈与扩展性挑战。为构建面向未来、敏捷高效的数据底座,公司决定引入华为GaussDB分布式数据库,利用其MPP并行架构、弹性伸缩与行列混合存储等核心技术,以支撑精准营销、智能核保、实时风控等关键业务场景。

为使技术团队快速掌握GaussDB的核心原理与实践能力,确保系统顺利迁移与高效运维,上海某保险公司特邀请中培IT学院入企开展了“MPP分布式数据库原理及应用”培训。培训针对不同角色差异化设计,旨在快速赋能团队,为后续数据仓库升级、业务系统分布式改造奠定坚实技术基础。

2. 培训目标

本次培训遵循“因岗施教、学以致用”的原则,为两类核心岗位设定了清晰的能力提升目标:

针对业务分析师与数据使用人员:

1、掌握GaussDB基础架构与核心特性,理解其相比Oracle/MySQL在分析型场景下的优势。

2、熟练运用SQL进行高效查询,掌握分区表设计、索引优化、执行计划解读等核心调优技能,能独立解决日常业务查询中的性能问题。

3、了解分布式事务的基本概念,能正确进行事务提交与回滚操作。

针对开发与运维技术人员:

1、深入理解MPP分布式架构、数据分片策略、存储计算分离等核心原理。

2、掌握GaussDB的高性能开发接口(JDBC/ODBC优化)、存储过程开发及与Oracle的语法差异迁移。

3、具备分布式事务管理、并发控制、系统监控与高级参数调优的能力,能支撑生产环境的稳定运行与性能保障。

3. 培训大纲

培训共分三天进行,每天上午9:15-11:30,下午1:45-4:30。

第一天:GaussDB基础入门(业务分析人员为主)

时间

章节

核心内容条目

案例内容

实验内容

上午

1.GaussDB架构与选型

产品架构解析
MPP并行处理特性
行列混合存储原理
弹性伸缩与存储计算分离
与Oracle/MySQL核心差异
适用场景与选型依据

某寿险公司用GaussDB替代Oracle处理亿级保单数据

查看集群节点角色,对比MPP与单节点架构

2.表与分区表设计

对象设计基础
普通表创建(支持中文表名)
分区表创建(同Oracle)
时间/地域分区策略
分区管理基础

按“承保年度+地区”分区存储保单,查询提速60%

创建保单表(按月份分区)并插入数据

3.索引与视图应用

索引原理
GaussDB与Oracle索引差异
视图基础
多表整合视图创建

为“保单号”建索引,单保单查询从8秒→0.2秒

创建保单号索引及“客户-保单”关联视图

下午

4.存储管理基础

数据存储结构
表空间管理(自动优化SSD/HDD)
行列混合存储(行存明细/列存聚合)
存储与查询效率关联

行存存客户明细,列存存保费统计,查询效率差异3倍

对比行存/列存表的查询耗时

5.SQL基础与函数改写

分页(LIMIT)/空值处理(COALESCE)
日期函数差异(Oracle)
常用函数对比与改写
业务SQL改写技巧

Oracle保单统计SQL改写为GaussDB语法,兼容执行

将5条Oracle常用SQL改写为GaussDB语法

6.事务基础操作

事务介绍
隔离级别(简化讲解)
COMMIT/ROLLBACK语法(同Oracle)
日常事务操作规范

保单录入错误后执行ROLLBACK,数据恢复一致

模拟保单录入→校验→提交/回滚流程

第二天:业务场景调优进阶(业务分析人员为主)

时间

章节

核心内容条目

案例内容

实验内容

上午

1.性能优化基础

-系统性能绪论
-查询处理流程
-性能优化基本原理
-内存与磁盘I/O优化策略

优化“月度理赔统计”查询,从30分钟→5分钟

分析慢查询的处理流程瓶颈

2.执行计划解读

-执行计划概念
-关键节点:IndexScan/SeqScan/HashJoin
-分布式vs单机计划差异
-核心关键字识别

解读“有效保单查询”计划,发现全表扫描问题

用EXPLAIN分析保单查询计划

3.索引与过滤优化

-索引:业务视角的“数据目录”
-索引创建与优化步骤
-WHERE条件优化
-分区过滤最佳实践

优化“地区=华东”过滤条件,查询仅扫描华东分区

对比“使用/不使用分区过滤”的查询效率

下午

4.分布式算子应用

-分布式算子概述
-扫描/连接/聚合/排序算子
-小表BroadcastJoinvs

大表HashJoin
-算子选择原则

用BroadcastJoin关联“险种字典表”与“保单表”,提速4倍

分析不同Join方式的执行计划及耗时

5.执行计划下推

-下推原理
-算子下推关键点
-下推对性能的影响
-下推验证方法

地区过滤下推至DN,数据传输量减少80%

对比下推开启/关闭的查询效率及数据量

6.数据倾斜处理

-数据倾斜识别(节点数据分布查询)
-倾斜原因分析
-子查询转JOIN优化
-分布键调整策略

调整“代理人ID”为分布键,解决保单表数据倾斜

模拟倾斜场景,调整分布键后验证均衡性

第三天:开发人员高阶技术

时间

章节

核心内容条目

案例内容

实验内容

上午

1.分布式架构深度解析

-MPP分片策略(哈希/范围/复制)
-存储计算分离架构
-弹性扩容机制
-分布式计算原理

按“客户ID”哈希分片,支撑千万级客户并行查询

测试不同分片策略的数据分布及查询效率

2.事务管理与一致性

-事务隔离级别(详细)
-并发读写与锁管理
-分布式事务与2PC协议
-子事务与redo恢复

跨节点“投保+扣费”事务,确保数据一致性

模拟跨DN,验证2PC提交/回滚机制

3.高性能接口开发

-分布式系统编程接口
-JDBC/ODBC连接池配置
-批量操作优化

-结果集优fetchSize

保单批量导入接口,从1小时→10分钟

用JDBC批量插入10万条保单数据

下午

4.存储过程与UDF开发

-存储过程语法(与OraclePL/SQL差异)
-存储过程开发实践
-PythonUDF开发
-函数调试方法

迁移Oracle核保规则存储过程至GaussDB

编写保费计算UDF并调用验证

5.系统监控与慢SQL分析

-慢SQL捕获pg_stat_statements
-资源监控-监控工具链使用
-指标分析方法

通过监控发现“年度报表”慢SQL,定位索引缺失

用监控工具定位Top5慢SQL并分析原因

6.高级调优策略

-内存参数work_mem/shared_buffers调优
-并行度参数

max_parallel_workers

调优
-自动索引优化建议
-TPCBenchmark测评体系

调整内存参数,大表排序耗时从20分钟→3分钟

调整参数优化大表分组统计性能

4. 讲师简历

上海某保险公司:MPP分布式数据库原理及应用培训-成功案例3209.png

臧大磊老师  

本次培训特邀资深数据库与分布式系统专家臧大磊老师担任主讲。臧老师有近二十年IT行业从业背景,在软件开发、IT运维、技术架构、数据规划建设、项目管理以及创新领域有丰富的经验;熟悉公有云的产品架构和使用,有完整的业务从0到1的技术架构实践,能灵活运用公有云产品和全球性资源实现业务高可用高可靠,高安全,观测性,弹性,易维护等方案。熟悉云产品业务模式,理解云计算、SAAS、PAAS、LAAS、SOA体系架构与设计思想,具有丰富的云计算项目成功实施经验;熟悉云计算主流技术发展趋势与行业市场特点,有深刻理解及技术洞察,有大型客户架构设计经验;精通信创环境下的自动化监控产品与技术方向。

利用智能运维的能力在运维数据治理、业务数字化风险、运维人力成本和业务侧影响力四个方面帮组企业运维应用上本质的效能提升。

臧老师在学员进行实践操作时,像一位贴心的教练,时刻关注着学员的操作情况,及时发现问题并给予现场指导。会引导学员进行自我反思和总结,通过不断地反馈和调整,让学员在实践中逐渐掌握技能的精髓,培养起良好的操作习惯和解决实际问题的能力,真正实现学以致用,让知识从书本走向实际应用。

5. 培训过程

本次MPP分布式数据库原理及应用培训于2025年11月18至20日(为期3天)在上海某保险公司会议室顺利实施,共计25名核心技术人员全程参与。

教学过程:臧老师授课脉络清晰,将复杂的分布式原理转化为生动的比喻(如将“索引”比作“数据目录”),并结合自身项目经验,分享了大量“避坑”指南和最佳实践。课程节奏张弛有度,上午侧重理论讲解与案例分享,下午则集中进行实验操作与辅导。

上海某保险公司:MPP分布式数据库原理及应用培训-成功案例3898.png

学员互动:课堂互动频繁,学员就一些实际问题与讲师进行了深入探讨。实验环节,讲师全程巡场,及时解答操作疑问,确保了每位学员都能跟上进度并掌握关键技能。

上海某保险公司:MPP分布式数据库原理及应用培训-成功案例3975.png

学习氛围:学员们表现出极高的学习热情与专注度,小组间时常就实验结果的差异进行技术交流,形成了“比、学、赶、帮”的积极氛围。

上海某保险公司:MPP分布式数据库原理及应用培训-成功案例4039.png

学员评价:学员们对此次培训都给予了高度好评,纷纷表示获益匪浅。

上海某保险公司:MPP分布式数据库原理及应用培训-成功案例4073.png

6. 培训总结

本次“MPP分布式数据库原理及应用”培训内容设计精准、案例真实、讲授专业、组织有序,圆满达成了预设的培训目标。它不仅是一次技术技能的传输,更是一次将先进分布式数据库技术与保险业务场景深度结合的思维碰撞。整体来看,培训收益主要体现在以下四个方面:

1、知识体系系统化,理解显著深化

2、实践技能获认证,动手能力提升

3、业务优化思路拓展,痛点启发解决方案

4、团队赋能效果显著,储备核心人才

总结亮点:

紧贴业务:所有内容围绕保险核心数据场景展开,保障了培训的实用性与针对性。

分层教学:针对不同角色设计学习路径,满足差异化需求,提升整体培训效率。

学练结合:配备大规模仿真实验环境,确保理论知识向动手能力高效转化。

此次培训为公司技术团队迎接分布式数据库时代奠定了坚实基础,为驱动数据智能业务创新做好了充分准备。

企业内训 企业内训
标签: 数字化转型 业务赋能 MPP

上篇: 山西某自动控制研究所:CISP注册信息安....

下篇: 没有下一篇了

 微信联系  在线咨询  咨询热线