内容发布更新时间 : 2024/11/19 10:22:33星期一 下面是文章的全部内容请认真阅读。

大数据分析平台数据治理建设方案

7.2.1.1.5.1 7.2.1.1.5.2 7.2.1.1.5.3 7.2.1.1.5.4 7.2.1.1.5.5 7.2.1.1.5.6 7.2.1.1.5.7 7.2.1.1.5.8 7.2.1.1.5.9 7.2.1.1.5.10 7.2.1.2

数据源管理 ............................................................................................ 265 新建数据源 ............................................................................................ 266 编辑数据源 ............................................................................................ 267 删除数据源 ............................................................................................ 268 测试数据源 ............................................................................................ 269 服务器管理 ............................................................................................ 270 新建服务器账户 ..................................................................................... 270 编辑服务器账户 ..................................................................................... 271 删除服务器账户 ..................................................................................... 272 测试服务器连接 ................................................................................... 273

工作流设计 ............................................................................................................... 274 事件 ..................................................................................................................... 274 任务 ..................................................................................................................... 275

数据流 .................................................................................................... 275 质量评估 ................................................................................................ 278 批量脚本 ................................................................................................ 280

7.2.1.2.1 7.2.1.2.2

7.2.1.2.2.1 7.2.1.2.2.2 7.2.1.2.2.3

7.2.1.2.2.4 HiveQL脚本 ............................................................................................ 282 7.2.1.2.2.5 7.2.1.2.2.6

邮件 ........................................................................................................ 284 存储过程 ................................................................................................ 287

7.2.1.2.2.7 exhive ..................................................................................................... 290 7.2.1.2.2.8 imhive ..................................................................................................... 293 7.2.1.2.2.9 imhbase ................................................................................................... 298 7.2.1.2.2.10 7.2.1.2.3

空节点 .................................................................................................. 301

网关节点 ............................................................................................................. 303

包容网关 ................................................................................................ 303 并行网关 ................................................................................................ 305 排它网关 ................................................................................................ 306

7.2.1.2.3.1 7.2.1.2.3.2 7.2.1.2.3.3 7.2.1.2.4

依赖关系配置...................................................................................................... 307

节点连线配置......................................................................................... 308 循环条件配置......................................................................................... 310

x

7.2.1.2.4.1 7.2.1.2.4.2

大数据分析平台数据治理建设方案

7.2.1.2.5 7.2.1.3

工作流的发布...................................................................................................... 311

监控中心 ................................................................................................................... 312 工作流调度 ......................................................................................................... 312

配置调度策略......................................................................................... 312 删除调度策略......................................................................................... 316 立即执行工作流 ..................................................................................... 317

7.2.1.3.1

7.2.1.3.1.1 7.2.1.3.1.2 7.2.1.3.1.3 7.2.1.3.2

工作流监控 ......................................................................................................... 318

主界面介绍 ............................................................................................ 318 监控导航栏 ............................................................................................ 319 监控列表 ................................................................................................ 320 工作流概况 ............................................................................................ 322

7.2.1.3.2.1 7.2.1.3.2.2 7.2.1.3.2.3 7.2.1.3.2.4 7.2.1.3.3

任务监控 ............................................................................................................. 326

界面介绍 ................................................................................................ 326 数据流动态图......................................................................................... 327 任务信息 ................................................................................................ 329 任务统计 ................................................................................................ 330 详细日志 ................................................................................................ 330

7.2.1.3.3.1 7.2.1.3.3.2 7.2.1.3.3.3 7.2.1.3.3.4 7.2.1.3.3.5

7.2.2 数据稽查工具（Profiler） ................................................................................. 332

首页 ........................................................................................................................... 332 数据概况统计 ........................................................................................................... 332

7.2.2.1 7.2.2.2

7.2.2.2.1 Schema概况统计 ................................................................................................. 333 7.2.2.2.2 7.2.2.2.3 7.2.2.2.4 7.2.2.3

表概况统计 ......................................................................................................... 333 敏感信息探查...................................................................................................... 333 主外键关联探查 .................................................................................................. 334

数据列分析 ............................................................................................................... 335 基本分析 ............................................................................................................. 335 结构分析 ............................................................................................................. 336 频率分析 ............................................................................................................. 337 分布统计 ............................................................................................................. 338

7.2.2.3.1 7.2.2.3.2 7.2.2.3.3 7.2.2.3.4 7.2.2.4

数据关联探索 ........................................................................................................... 339

xi

大数据分析平台数据治理建设方案

7.2.2.4.1 7.2.2.4.2 7.2.2.5

字典规则探索...................................................................................................... 340 函数依赖探索...................................................................................................... 340

值域分析 ................................................................................................................... 341 启动任务创建...................................................................................................... 342 选择剖析对象...................................................................................................... 343 设置剖析范围...................................................................................................... 344 设置任务参数...................................................................................................... 344 选择运行方式...................................................................................................... 346 结果展示 ............................................................................................................. 347 规则入库 ............................................................................................................. 350

7.2.2.5.1 7.2.2.5.2 7.2.2.5.3 7.2.2.5.4 7.2.2.5.5 7.2.2.5.6 7.2.2.5.7 7.2.2.6

数据范围分析 ........................................................................................................... 354 启动任务创建...................................................................................................... 355 选择剖析对象...................................................................................................... 356 设置剖析范围...................................................................................................... 357 设置任务参数...................................................................................................... 358 选择运行方式...................................................................................................... 360 结果展示 ............................................................................................................. 361

7.2.2.6.1 7.2.2.6.2 7.2.2.6.3 7.2.2.6.4 7.2.2.6.5 7.2.2.6.6 7.2.2.7

手工定义 ................................................................................................................... 363 启动任务创建...................................................................................................... 363 选择规则 ............................................................................................................. 364 设置剖析对象...................................................................................................... 365 设置剖析范围...................................................................................................... 366 手工规则制定...................................................................................................... 367

函数依赖 ................................................................................................ 367 字典规则 ................................................................................................ 373

7.2.2.7.1 7.2.2.7.2 7.2.2.7.3 7.2.2.7.4 7.2.2.7.5

7.2.2.7.5.1 7.2.2.7.5.2

7.2.2.7.5.3 SQL规则 .................................................................................................. 378 7.2.2.8

质量评估 ................................................................................................................... 384 评估报告生成...................................................................................................... 384 评估报告下载...................................................................................................... 385

7.2.2.8.1 7.2.2.8.2

7.2.3 数据标准管理工具（DS） ................................................................................. 385

xii

大数据分析平台数据治理建设方案

7.2.3.1 数据元管理 ............................................................................................................... 386 数据元主题分类 .................................................................................................. 387

添加分类 ................................................................................................ 387 修改分类 ................................................................................................ 388 删除分类 ................................................................................................ 389

7.2.3.1.1

7.2.3.1.1.1 7.2.3.1.1.2 7.2.3.1.1.3 7.2.3.1.2

数据元信息管理 .................................................................................................. 390

新增数据元 ............................................................................................ 390 修改数据元 ............................................................................................ 393 删除数据元 ............................................................................................ 394 查看数据元 ............................................................................................ 395

7.2.3.1.2.1 7.2.3.1.2.2 7.2.3.1.2.3 7.2.3.1.2.4 7.2.3.1.3

元规则管理 ......................................................................................................... 395

新增元规则 ............................................................................................ 396 修改元规则 ............................................................................................ 407 删除元规则 ............................................................................................ 408

7.2.3.1.3.1 7.2.3.1.3.2 7.2.3.1.3.3 7.2.3.2

标准包管理 ............................................................................................................... 408 新增标准包 ......................................................................................................... 409 修改标准包 ......................................................................................................... 412 删除标准包 ......................................................................................................... 412 查看标准包 ......................................................................................................... 413

7.2.3.2.1 7.2.3.2.2 7.2.3.2.3 7.2.3.2.4 7.2.3.3 7.2.3.4 7.2.3.5

内置丰富数据元标准 ............................................................................................... 414 灵活的扩展性 ........................................................................................................... 415 数据全生命周期的标准管理体系 ........................................................................... 416

7.2.4 数据质量提升工单系统 ..................................................................................... 417

资源中心角色 ........................................................................................................... 417 待处理工单（分派） .......................................................................................... 417 待处理工单（复核） .......................................................................................... 421 待处理工单（决策申请挂起） .......................................................................... 423 待处理工单（决策申请驳回） .......................................................................... 425 流程处理中工单 .................................................................................................. 427 已归档工单 ......................................................................................................... 428

xiii

7.2.4.1

7.2.4.1.1 7.2.4.1.2 7.2.4.1.3 7.2.4.1.4 7.2.4.1.5 7.2.4.1.6

大数据分析平台数据治理建设方案

7.2.4.1.7 7.2.4.1.8 7.2.4.2

工单状态统计分析 .............................................................................................. 429 问题统计趋势图分析 .......................................................................................... 430

交办单位角色 ........................................................................................................... 431 待处理工单 ......................................................................................................... 431 流程处理中工单 .................................................................................................. 435 已归档工单 ......................................................................................................... 436 工单状态统计分析 .............................................................................................. 437 问题统计趋势图分析 .......................................................................................... 437

7.2.4.2.1 7.2.4.2.2 7.2.4.2.3 7.2.4.2.4 7.2.4.2.5 7.2.4.3

上级领导角色 ........................................................................................................... 438 待处理工单（上级决策挂起） .......................................................................... 439 待处理工单（上级决策驳回） .......................................................................... 441 流程处理中工单 .................................................................................................. 443 已归档工单 ......................................................................................................... 444 工单状态统计分析 .............................................................................................. 445 问题统计趋势图分析 .......................................................................................... 446

7.2.4.3.1 7.2.4.3.2 7.2.4.3.3 7.2.4.3.4 7.2.4.3.5 7.2.4.3.6

7.3 数据归集与关联集成 .................................................................................................. 447

7.3.1 数据抽取 ............................................................................................................. 447

全量抽取 ................................................................................................................... 447 增量抽取 ................................................................................................................... 448

7.3.1.1 7.3.1.2

7.3.2 数据关联 ............................................................................................................. 449

字典规则关联 ........................................................................................................... 451 函数依赖关联 ........................................................................................................... 451

7.3.2.1 7.3.2.2

7.3.3 7.4

数据加载 ............................................................................................................. 451

数据质量评估与标准转换 .......................................................................................... 452

7.4.1 7.4.2 7.4.3 7.5

数据探索 ............................................................................................................. 452 数据稽查 ............................................................................................................. 456 数据标准化 ......................................................................................................... 458

数据质量清洗 .............................................................................................................. 459

7.5.1 7.5.2

数据清洗 ............................................................................................................. 459 流式智能修复 ..................................................................................................... 460

xiv