金石为开Jin.wiki
往期整理
历史归档
标签分类
tacjin | Code, Cloud & Concepts
0
大数据
数据治理
数据采集
生产实践
🧑🏻🔧
数据集成规范实践总结
字数
0
阅读时长≈
1
分钟
2025-8-13
2025-8-17
文章已上锁，请输入访问密码
提交
目录
1 范围
2 规范性引用文件
3 术语和定义
3.1 数据
3.2 数据集成
3.3 数据标准
3.4 数据处理
3.5 数据加工处理作业管理流程
3.6 工作空间
4 管理职责与分工
5 基本原则
5.1 数据入湖全周期管理原则
5.2 应接尽接原则
5.3 按需接入原则
5.4 分类施策原则
6 数据集成入湖步骤
6.1 检查数据源准备度
6.2 明确数据责任人
6.3 确定数据集成方式
6.4 刷新数据架构/数据标准
6.5 数据入湖实施与验证
7 数据集成作业开发规范
7.1 集成工具
7.2 集成集群管理
7.2.1 *整体原则*
7.2.2 *命名要求*
7.3 数据连接规范
7.4 集成作业管理
7.4.1 *作业组创建规范*
7.4.2 *作业创建规范*
7.4.3 *作业调度规范*
7.4.4 *作业变量规范*
7.4.5 *作业备份规范*
7.4.6 *作业删除规范*
7.5 全量集成规范
7.5.1 *全量集成标准流程*
7.5.2 *集成模式选择与实施*
7.6 增量集成规范
7.6.1 *T+1增量集成*
7.6.2 *T+1滚动增量集成*
7.6.3 *T+N周期性增量集成*
7.6.4 *T+1历史变更追踪集成*
7.7 增量集成目标表处理规范
7.7.1 *当目标表为分区表，要求如下：*
7.7.2 *当目标表为非分区表，要求如下：*
你好！我是tacjin，我是
tacjin
🎉 你好呀，感谢你的光临
了解更多
目录
1 范围
2 规范性引用文件
3 术语和定义
3.1 数据
3.2 数据集成
3.3 数据标准
3.4 数据处理
3.5 数据加工处理作业管理流程
3.6 工作空间
4 管理职责与分工
5 基本原则
5.1 数据入湖全周期管理原则
5.2 应接尽接原则
5.3 按需接入原则
5.4 分类施策原则
6 数据集成入湖步骤
6.1 检查数据源准备度
6.2 明确数据责任人
6.3 确定数据集成方式
6.4 刷新数据架构/数据标准
6.5 数据入湖实施与验证
7 数据集成作业开发规范
7.1 集成工具
7.2 集成集群管理
7.2.1 *整体原则*
7.2.2 *命名要求*
7.3 数据连接规范
7.4 集成作业管理
7.4.1 *作业组创建规范*
7.4.2 *作业创建规范*
7.4.3 *作业调度规范*
7.4.4 *作业变量规范*
7.4.5 *作业备份规范*
7.4.6 *作业删除规范*
7.5 全量集成规范
7.5.1 *全量集成标准流程*
7.5.2 *集成模式选择与实施*
7.6 增量集成规范
7.6.1 *T+1增量集成*
7.6.2 *T+1滚动增量集成*
7.6.3 *T+N周期性增量集成*
7.6.4 *T+1历史变更追踪集成*
7.7 增量集成目标表处理规范
7.7.1 *当目标表为分区表，要求如下：*
7.7.2 *当目标表为非分区表，要求如下：*
最新发布
Hadoop基本概念（四）：版本更迭
2025-9-2
Flink On Hudi生产开发最佳实践
2025-8-24
人与技术工具
2025-8-24
Hudi表设计及管理规范
2025-8-23
数据集成规范实践总结
2025-8-17
数仓分层HW版实践总结
2025-8-17
工具
23
java
22
生产实践
10
数据治理
9
推荐
5
Hadoop
5
必看精选
4
实用教程
3
数据模型
3
热门文章
2
数据采集
2
NoSQL
2
数据湖
2
Shell
1
文章数:
62
建站天数:
474 天
访问量:
访客数:
