Apache DolphinScheduler 在唯品富邦消费金融生产应用实践

1 . 2022 DolphinScheduler 在消费金融领域的生产实践 唯品富邦消费金融---段春印 

2 .目录 CONTENTS 01 公司简介 02 选型背景 03 应用现状 04 优化改造 05 后续计划 

3 .01 公司简介 公司介绍 股东背景 服务理念 

4 . 公司简介 四川省唯品富邦消费金融有限公司，2021年8月31日经四川银保 监局获批开业，是银保监会批准设立的第30家消费金融公司，主 营个人消费信贷业务，在全国范围内展业，注册资本金5亿元。 

5 . 股东背景 持股比例49.9% 美国纽交所上市 | 全球最大的特卖电商 | 12年Q4截止 当前，持续实现盈利超3亿注册用户 唯品会（中国）有限公司 持股比例25.1% 特步（中国）有限公司 时尚运动领军企业 | 母公司特步集团在香港上市 集团主品牌特步拥有超6000家零售店的分销网络 富邦华一银行有限公司 覆盖中国31个省市自治区 ，以及海外地区 三家公司共同出资设立 持股比例25% 大陆第一家全牌照运营的台资银行 | 截至2021年末，资产总额1372.63亿元 资本充足率13.64%，不良率0.53% | 评级为AAA评级，展望稳定（中诚信） 

6 .服务理念 

7 .02 开源 选型背景 简单 统一调度 

8 .选型背景 开源| 简单| 兼容好 开源 简单 兼容好 免费、社区活跃、可以添 安装简单、维护简单、 大数据生态兼容好 加自己想要的功能 监控方便、扩容简单 

9 . 选型背景 选型对比 XXL-JOB DolphinScheduler Airflow Oozie 任务类型支 Python、Bash、HTTP、 MR、Streaming、Pig、Hive、Sqoop、 JAVA shell、Spark、Hive、Python、SQL、HTTP、DataX等 持 Mysql等 Spark、Shell等 可视化流程 无 是 否 否 定义 任务监控支 任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目 任务状态、任务类型、任务运行机器、 无 不能直观的区分任务类型 持 了然 创建时间、启动时间、完成时间等 支持暂停、恢复 运行机制 支持暂停、恢复、重跑、补数等操作 只能先将工作流kill 支持启动、停止、暂停、恢复、重跑 操作 高可用支持 支持HA 支持HA，去中心化的多Master和多worker 通过DB支持HA 通过DB支持HA 支持 多租户支持 否 用户可以通过租户和hadoop用户实现多对一或一对一的映射关系，这对大数 否 否 据作业的调度是非常重要 在我的观念里面，没有最好的,，只有结合自身的业务/技术情况挑选最合适的技术产品。 

10 .选型背景 调度统一|统一调度 调度统一 部分业务系统有跑批处理工作，采用的调度系统不 同，为了便于后续统一管理，需调度统一。 去中心化 容错性 统一调度 各业务系统跑批与数仓有依赖关系，需将数据采集、 清洗、加工、服务全链路统一调度，包括ODS、数 仓、数据集市、各业务系统。 

11 .03 调度规模 应用现状 应用场景 重要指标 

12 .应用现状 调度规模 9 个节点 38 个项目 1500+ 任务流 4000+ 任务实例 A B C D 

13 .应用现状 应用场景 数据加工 从各个业务系统同步数据至ODS 对ODS数据进行标准化处理 数据质量检核 集市加工 对数据记录数、枚举值、空值、 从数仓到各个数据集市的宽表加 业务逻辑、表间关系等进行校验 工 数据卸载 业务监控告警 数据仓库、数据集市数据同步至 对数据的异常指标进行监控，并 下游 触发告警 

14 .应用现状 应用重要指标 安全可靠 自动治愈 运维提升 稳定性、兼容性、高可靠 故障处理自动化 预警报警、血缘分析、瓶 性 颈分析 架构灵活 处理高效 直观易用 按需选择、可变更、可扩 调度高效、开发高效、运维高 图形展示、图表统计、全 展 效 方位监控 

15 .04 任务重跑 优化改造 统一告警 数据质量检核 

16 .优化改造 优化任务重跑 失败重跑 数据错误重跑 上游失败，下游继续等待 下游依赖任务，一键触发重 跑 

17 .优化改造 统一告警 设置了通用的短信、企业微信模板，按照不同的告警级别告警 基于数仓、集市等数据源自定义告警内容 

18 .优化改造 数据质量检核 数据同步校验 数据加工校验 数据同步后，自动进行记 数据采集校核 录数的校验 对加工后的数据法进行记 DATAX采集数据入库后， 录数、唯一性、异常值、 自动进行数据记录数的对 业务逻辑、枚举值等校验 比 

19 .0 后续计划 

20 .后续计划 进行受限操作，避免高权和高危操作 固化操作流程和应用规范，提升运维 对系统的不安全运行 人员操作的规范性 极大降低运维人员上线的操作次数， 统一化监控视图和统一化运维操作， 实现一键上线，降低上线工作复杂度 简化运维人员日常的工作流程，提升 和工作量 工作效率 

21 . THANKS！ Ending