数据治理工作总结 数据治理工作方案_农历_星座分析

星座分析>星座分析>农历

数据治理工作总结 数据治理工作方案

时间:2024-05-17 03:27:08 作者:真爱至上

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于数据治理工作总结 数据治理工作方案的文章,本文对文章数据治理工作总结 数据治理工作方案好好的分析和解答,希望你能喜欢,只有你喜欢的内容存在,只有你来光临,我们才能继续前行。Ej5星座分析

数据治理工作总结 数据治理工作方案

数据治理的十种方法?

在说数据治理的方法之前,元年科技建议先了解下数据治理的概念及目标:Ej5星座分析

数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。Ej5星座分析

大数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。Ej5星座分析

数据治理,数据中台,数据库

数据治理,数据集成,数据质量提升Ej5星座分析

数据治理的目标是提高数据的质量(准确性和完整性),保证数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升集团公司或政务单位信息化水平,充分发挥信息化作用。Ej5星座分析

数据中台,数据治理,数据湖

元年科技总结了关于数据治理的六步法:Ej5星座分析

数据治理评估:定位问题,穿数据治理路线Ej5星座分析

数据管理体系设计:建立企业的数据治理要素体系、组织架构等。Ej5星座分析

数据标准体系设计:保障数据的使用和交换的一致性和准确性。Ej5星座分析

数据分布设计:明确数据位于何处,以及在系统之间如何关联。Ej5星座分析

数据整合设计:明确信息技术和基础架构如何满足业务需要。Ej5星座分析

执行数据清洗:纠正数据文件中可识别的错误。Ej5星座分析

数据治理十步法

以下文章来源于谈数据 ,作者石秀峰Ej5星座分析

1、找症状,明确目标Ej5星座分析

任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。Ej5星座分析

由于这些数据问题的存在对业务的开展和业务部门之间的沟通造成了较大的困扰,产生了很大的成本;各异构的系统中数据不一致,导致业务系统之间的应用集成无法开展;数据质量差无法支撑数据分析,分析结果与实际偏差较大。然而要实现数据驱动管理、数据驱动业务的目标,没有高质量的数据支撑是行不通的。Ej5星座分析

目标:企业实施数据治理的第一步,就是要明确数据治理的目标,理清数据治理的关键点。Ej5星座分析

技术工具:实地调研、高层访谈、组织架构图。Ej5星座分析

输入:企业数据战略规划,亟待解决的业务问题,经营发展需求,业务需求等;Ej5星座分析

输出:数据治理的初步沟通方案,项目任务书,工作计划表;Ej5星座分析

2、理数据,现状分析Ej5星座分析

针对企业数据治理所处的内外部环境,从组织、人员、流程、数据四个方面入手,进行数据治理现状的分析。Ej5星座分析

某企业数据治理痛点分析Ej5星座分析

组织方面:是否有专业的数据治理组织,是否明确岗位职责和分工。Ej5星座分析

人员方面:数据人才的资源配置情况,包括数据标准化人员、数据建模人员,数据分析人员,数据开发人员等,以及数据人才的占比情况。Ej5星座分析

流程方面:数据管理的现状,是否有归口管理部门,是否有数据管理的流程、流程各环节的数据控制情况等;Ej5星座分析

数据方面:梳理数据质量问题列表,例如:数据不一致问题,数据不完整,数据不准确、数据不真实、数据不及时、数据关系混乱,以及数据的隐私与安全问题等。Ej5星座分析

目标:分析企业数据管理和数据质量的现状,确定初步数据治理成熟度评估方案。Ej5星座分析

技术工具:实地访谈、调研表、数据质量问题评议表、关键数据识别方法论(例如:主数据特征识别法);Ej5星座分析

输入:需求及现状调研表、访谈记录、数据样本、数据架构、数据管理制度和流程文件;Ej5星座分析

输出:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估方案;Ej5星座分析

3、数据治理成熟度评估Ej5星座分析

数据治理成熟度反映了组织进行数据治理所具备的条件和水平,包括元数据管理、数据质量管理、业务流程整合、主数据管理和信息生命周期管理。Ej5星座分析

CMMI DMM数据管理能力成熟度评估模型Ej5星座分析

数据治理成熟度评估是利用标准的成熟度评估工具结合行业最佳实践,针对企业的数据治理现状进行的客观评价和打分,找到企业数据治理的短板,以便制定切实可行的行动方案。数据治理成熟度结束后形成初步的行动方案,一般包括数据治理战略,数据治理指标,数据治理规则,数据治理权责。数据治理愿景和使命是数据治理的整体目标;数据治理指标定义了数据治理目标的衡量方法;数据治理规则和定义包括与数据相关的政策、标准、合规要求、业务规则和数据定义等;权利和职责规定了由谁来负责制订数据相关的决策、何时实施、如何实施,以及组织和个人在数据治理策略中该做什么。Ej5星座分析

目标:结合业界标准的数据治理成熟度模型,根据企业管理和业务需求进行数据治理成熟的评估,形成初步的数据治理策略和行动路线。Ej5星座分析

技术工具:数据治理评估模型,例如:DCMM,CMMI DMM,IBM数据治理成熟度评估模型等;Ej5星座分析

输入:第2步的输入以及数据治理评估模型、数据治理评估工具(评估指标、打分表等);Ej5星座分析

输出:数据治理评估结果,数据治理策略,初步的行动方案;Ej5星座分析

4、数据质量问题根因分析Ej5星座分析

数据治理的目的是解决数据质量问题提升数据质量,从而为数据驱动的数字化企业提供源动力,而提到数据质量问题,做过BI、数仓的同学一定知道,这是一个技术和业务“经常打架”相互推诿的问题。Ej5星座分析

某企业数据问题根因分析鱼骨图Ej5星座分析

产生数据质量问题的原因有很多,有业务方面的、有管理方面的、也有技术方面的,按照80/20法则,80%的问题是由20%的原因造成起的。所以,如果能够解决这20%的问题,就能得到80%的改进。Ej5星座分析

目标:分析并找到数据质量问题产生的根本原因,制定行之有效的解决方案;Ej5星座分析

技术工具:头脑风暴、5W1H、SWOT、因果(鱼刺)图、帕拉图等;Ej5星座分析

输入:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估结果;Ej5星座分析

输出:数据质量评估结果、对业务的潜在影响和根本原因。Ej5星座分析

5、业务影响及实施优先级评估Ej5星座分析

通过数据治理成熟度评估,从组织、流程、制度、人员、技术等方面找到企业在数据治理的待提升的领域和环节,再通过数据质量根因分析找到数据质量问题发生的根本原因,进一步明确了数据治理的目标和内容。再接下来,就需要确定数据治理策略,定义数据治理的实施优先级。Ej5星座分析

某企业主数据治理实施优先级评估Ej5星座分析

不同的数据治理领域解决的是不同的问题,而数据治理的每个领域都有它的实施难点,对企业来说,需要从业务的影响程度,问题的紧急程度、实施的难易程度等多个维度进行分析和权衡,从而找到符合企业需求并满足企业发展的方案。Ej5星座分析

目标:确定数据治理核心领域和支撑体系的建设/实施优先级;Ej5星座分析

技术工具:四象限法则(分别从业务影响程度/实施难以程度,问题重要程度/问题紧急程度绘制优先级矩阵)、KANO模型Ej5星座分析

输入:数据治理成熟度能力评估结果、数据质量问题根因分析结果;Ej5星座分析

输出:数据治理实施优先级策略Ej5星座分析

6、制定数据治理行动路线和计划Ej5星座分析

路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变化的步骤或技术相关环节之间的逻辑关系。路线图是一种目标计划,就是把未来计划要做的事列出来,直至达到某一个目标,就好像沿着地图路线一步一步找到终点一样,故称路线图。Ej5星座分析

某企业数据治理实施路线图Ej5星座分析

企业数据治理的实施路线图的制定是以企业数据战略——愿景和使命为纲领,以急用优先为原则,以分步实施为策略进行了整体设计和规划。实施路线图主要包含的内容:分几个阶段实施,每个阶段的目标、工作内容、时间节点要求、环境条件等。笔者观点:任何一个企业的数据治理都不是一蹴而就,一步到位的,需要循序渐进、持续优化!实施路线图就是基于此产生的,因此说数据治理实施路线图也是说服利益相关者支持的一个重要手段。Ej5星座分析

目标:确定数据治理的阶段以及每个阶段的目标;Ej5星座分析

技术工具:路线图法Ej5星座分析

输入:数据治理成熟度能力评估结果、业务影响及实施优先级评估结果;Ej5星座分析

输出:数据治理实施路线图或称阶段目标计划Ej5星座分析

7、制定数据治理详细实施方案Ej5星座分析

数据治理详细实施方案是用于指导主数据的各项实施工作,一般包括:数据治理核心领域、数据治理支撑体系、数据治理项目管理三个方面。Ej5星座分析

数据治理总体框架图Ej5星座分析

数据治理核心领域包括:数据架构、数据服务、元数据管理、数据质量管理、数据标准管理、主数据管理、数据安全管理、数据生命周期管理。Ej5星座分析

数据治理支撑体系包括:组织(组织架构、组织层次、岗位职责)、制度(管控模式、规章制度、考核机制)、流程(归口部门、管理流程、流程任务等)、技术(数据集成、数据清洗、数据开发、数据应用、数据运营、支撑平台、实施方案等)。Ej5星座分析

数据治理项目管理方案包括:项目组队、项目计划、质量保证计划、配置管理计划、培训和售后等。Ej5星座分析

目标:基于数据质量根因分析、业务影响和实施优先级评估结果,制定详细实施方案;Ej5星座分析

输入:业务影响及实施优先级评估结果,行动路线和计划;Ej5星座分析

输出:数据治理详细实施方案。Ej5星座分析

8、数据治理实施过程控制Ej5星座分析

数据治理实施过程控制是对数据治理项目的范围控制、进度控制、质量控制和成本控制,通过对企业的各项资源的合理协调与利用,而达成的数据治理目标的各种措施。从项目管理的角度来讲也是项目管理的黄金三角:范围、时间、质量、成本。Ej5星座分析

任何项目的质量和进度是需要良好的项目管理来保证的,数据治理也一样。与传统的软件工程项目不同,数据治理项目有着范围边界模糊、影响范围广、短期难见效、实施周期长等特点:Ej5星座分析

①范围边界模糊,数据治理涉及到的关键领域如元数据管理、数据质量管理、数据标准管理、主数据管理等很多是存在交叉的,边界很难界定,例如:实施数据质量管理项目,会涉及元数据管理、数据标准管理等,同样一个元数据管理项目也会涉及数据标准和数据质量。Ej5星座分析

②影响范围广,数据治理的实施不是一个部门能够完成的,是需要从高级管理层、到各业务部门、信息部门通力协作,共同完成的;Ej5星座分析

③短期难见效,数据治理项目实施完成后,其数据治理的效果被每个业务点滴操作所“稀释”,并不像其他项目,例如BI,那样明显的体现出来,所以主导数据治理的部门会经常遭到质疑。Ej5星座分析

④实施周期长,在没有清晰的数据治理目标和范围约定的情况下,数据治理是一个“无底洞”。所以,在实施数据治理项目之前制定好实施路线图和详细的实施方案就显得格外重要(第6、7步)。Ej5星座分析

目标:通过对数据治理项目实施过程的进度控制、质量控制和成本控制以实现数据治理的目标;Ej5星座分析

技术工具:PP(项目计划)、PMC(项目控制)、IPM(集成项目管理)、RSKM(风险管理)——CMMI过程域;Ej5星座分析

输入:6-7步的输出:数据治理实施路线图,数据治理详细实施方案;Ej5星座分析

输出:各项项目控制措施,例如:项目计划、SOW、项目风险列表、项目报告、项目总结等;Ej5星座分析

9、监控评估数据治理实施效果Ej5星座分析

随着大数据技术的不断发展,应当从企业的全局数据治理环境的角度,明确数据治理关键技术运用及其标准规范,构建成效评估指标体系,进行治理效果评价;并运用数据治理能力成熟度模型再次评估,界定数据管理层次,从而使得跨系统、跨业务、跨部门的数据治理体系的建设与实施能够通过各方协作顺利进行,实现卓越数据治理,进而通过数据驱动业务、数据驱动管理和运营以实现企业的降本、增效、提质、创新。Ej5星座分析

某企业数据治理看板(数据已脱敏)Ej5星座分析

数据治理成效评估指标体系应根据企业及数据治理项目的实际情况制定,一般包括:时间性、数量性、完整性、准确性四个维度。Ej5星座分析

①时间性即数据的及时性。该维度主要通过源业务系统数据接入的上报及时性、接入及时性等方面进行核对。通过分析月指标、周指标、日指标的数据及时率,得出在规定时间和频度周期内接入系统的比例,以此反映数据接入及时性。Ej5星座分析

②数量性。该维度是从数据存量,数据增量,数据访问量,数据交换量、数据使用量等指标反映数据的使用情况,可以分为月度指标、周指标、日指标、时分指标等。Ej5星座分析

③准确性。这个维度主要由各类数据中逻辑的准确性、数据值的准确性、数据频段和字段之间的准确性以及数据的精度等内容组成。该准确率同样包括:月度、每周、每日等准确率指标。Ej5星座分析

④完整性。此维度主要以单元维度完整性、数据业务维度组合完整性、索引值完整性等不同方面进行核对,是验证数据质量完整性的主要组成部分,包括月度指标、周指标、日指标数据的完整性等内容。Ej5星座分析

目标:检验各项数据治理指标的落实情况,查漏补缺,夯实数据治理效果;Ej5星座分析

技术工具:数据治理效果的评价指标体系、各种数据图表工具;Ej5星座分析

输入:数据治理效果评估指标;Ej5星座分析

输出:数据治理评估的月报、周报、日报等;Ej5星座分析

10、数据治理持续改进Ej5星座分析

数据治理模式应业务化、常态化,不应是一个项目、“一阵风”的模式。Ej5星座分析

图片源自互联网Ej5星座分析

数据治理工作应向企业生产、销售业务一样作为一项重点的业务工作来开展,构建专业的数据治理组织,设置合适的岗位权责,建立相应的管理流程和制度,让数据标准贯彻到每个业务环节,形成一种常态的工作。在笔者看来,在数据源头加强企业数据的治理,让常态化治理成为日常业务,才能从根本上彻底解决企业数据质量的各种问题,让数据真正转化为企业资产,以实现数据驱动流程优化、数据驱动业务创新、数据驱动管理决策的目标。Ej5星座分析

目标:数据治理常态化,持续提升数据质量,驱动流程优化和管理创新。Ej5星座分析

输入:持续的、规范的、标准的各项业务操作;数据治理监控的各项指标和报告;Ej5星座分析

输出:持续输出的高质量的数据;Ej5星座分析

博主观点:原理大家都懂,实践时困难重重。在专家的指导下,应用适当的工具可让理论转化为现实。华矩科技,专业的数据治理服务与技术提供商。

如何有效的进行数据治理和数据管控?

从技术实施角度看,主要包含“理”“采”“存”“管”“用”这五个,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。Ej5星座分析

数据资源梳理:数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单,包含组织机构、业务事项、信息系统,以及以数据库、网页、文件和 API 接口形式存在的数据项资源,本步骤的输出物为分门别类的数据资源清单。Ej5星座分析

数据采集清洗:通过可视化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程,目的是将散落和零乱的数据集中存储起来。Ej5星座分析

基础库主题库建设:一般情况下,可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据,或称主数据,例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据,例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据,例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上,基于易存储、易管理、易使用的原则抽像数据存储结构,说白了,就是基于一定的原则设计数据库表结构,然后再根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。Ej5星座分析

元数据管理:元数据管理是对基础库和主题库中的数据项属性的管理,同时,将数据项的业务含义与数据项进行了关联,便于业务人员也能够理解数据库中的数据字段含义,并且,元数据是后面提到的自动化数据共享、数据交换和商业智能(BI)的基础。需要注意的是,元数据管理一般是对基础库和主题库中(即核心数据资产)的数据项属性的管理,而数据资源清单是对各类数据来源的数据项的管理。Ej5星座分析

血缘追踪:数据被业务场景使用时,发现数据错误,数据治理团队需要快速定位数据来源,修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库,核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系,且业务团队使用的数据项由元数据组合配置而来,这样,就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录:数据资源目录一般应用于数据共享的场景,例如政府部门之间的数据共享,数据资源目录是基于业务场景和行业规范而创建,同时依托于元数据和基础库主题而实现自动化的数据申请和使用。Ej5星座分析

质量管理:数据价值的成功发掘必须依托于高质量的数据,唯有准确、完整、一致的数据才有使用价值。因此,需要从多维度来分析数据的质量,例如:偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是,优秀的数据质量模型的设计必须依赖于对业务的深刻理解,在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响,例如 Hadoop,MapReduce,HBase 等。Ej5星座分析

商业智能(BI):数据治理的目的是使用,对于一个大型的数据仓库来说,数据使用的场景和需求是多变的,那么可以使用 BI 类的产品快速获取需要的数据,并分析形成报表,像派可数据就属于专业的BI厂商。Ej5星座分析

数据共享交换:数据共享包括组织内部和组织之间的数据共享,共享方式也分为库表、文件和 API 接口三种共享方式,库表共享比较直接粗暴,文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式,在这种方式下,能够让中心数据仓库保留数据所有权,把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现,常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。Ej5星座分析

以上内容是小编精心整理的关于数据治理工作总结 数据治理工作方案的精彩内容,好的文章需要你的分享,喜欢数据治理工作总结 数据治理工作方案这篇精彩文章的,请您经常光顾吧!Ej5星座分析

上一篇:6月推广文案 6月推广主题

下一篇:更多农历

本文标题:数据治理工作总结 数据治理工作方案

本文链接:http://m.xzfx123.com/article/116071.html

使劲推荐

数据治理工作总结 数据治理工作方案
数据治理工作总结 数据治理工作方案

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于数据治理工作总结 数据治理工...

6月推广文案 6月推广主题
6月推广文案 6月推广主题

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于6月推广文案 6月推广主题的文...

高中生工作简历 高中生工作单位怎么填
高中生工作简历 高中生工作单位怎么填

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于高中生工作简历 高中生工作单...

8月6日英文翻译 8月6日英文
8月6日英文翻译 8月6日英文

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于8月6日英文翻译 8月6日英文的...

6月休息日 6月休息日几天
6月休息日 6月休息日几天

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于6月休息日 6月休息日几天的文...

发表评论

相关推荐

下一步工作要求三个早 下一步工作措施及建议
下一步工作要求三个早 下一步工作措施及建议

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于下一步工作要求三个早 下一步...

20116月17日是什么星座 20116月17日的农历是什么时候
20116月17日是什么星座 20116月17日的农历是什么时候

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于20116月17日是什么星座 20116...

安全隐患排查工作开展情况汇报 安全隐患排查工作报告
安全隐患排查工作开展情况汇报 安全隐患排查工作报告

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于安全隐患排查工作开展情况汇报...

档案工作者先进事迹材料 光荣的档案工作者
档案工作者先进事迹材料 光荣的档案工作者

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于档案工作者先进事迹材料 光荣...

阿哲6月22号视频回放 阿哲2021年6月27日回放
阿哲6月22号视频回放 阿哲2021年6月27日回放

一篇好的文章需要好好的打磨,你现在浏览的文章是一篇关于阿哲6月22号视频回放 阿哲2021...

精选农历标签