数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践
摘要： 2018 “maxcompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“数据进入maxcompute的n种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战demo系统，它能够实现自动全链路的大数据处理流程，其中包括离线的和实时数据的，接下来将为大家揭晓实战demo系统是怎样实现自动全链路的大数据处理流程的。
2018 “maxcompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“数据进入maxcompute的n种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战demo系统，它能够实现自动全链路的大数据处理流程，其中包括离线的和实时数据的，接下来将为大家揭晓实战demo系统是怎样实现自动全链路的大数据处理流程的。
数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!
直播视频回顾
ppt下载请点击
以下内容根据现场分享整理而成。
大数据中心的架构
上图为大数据实战demo的整体架构，它的上云方式是离线的。要实现大数据实战demo的应用，架构必需包含数据源系统、数据仓库、大数据应用系统平台、web/应用平台、流程调度、数据加工及展现、实时处理平台，其中数据仓库包含临时层、基础数据层和应用层三个层次。
在整个架构中，数据上云是重中之重，它可以针对不同的数据源使用不同的上云方式。
首先，数据上云到maxcompute(数据存储)大数据存储及处理平台上，并将数据进行处理；接着，将数据传输到临时层，再经过简单转换进到基础数据层；最后，将数据进一步汇总到应用层进而提供服务。
在这个架构中，是通过协议工具dataworks、datax进行流程调度的，通过quickbi、datav进行数据展现的，通过datehub+streamcompute进行数据处理实时数据的，最后系统将处理后的数据存放到大数据应用平台的rds里面，并通过quickbi、datav进行展现。
数据上云（同步）方式数据上云有许多种方式，对于maxcompute产品而言，它使用的典型的自带工具有tunnel、datax、dataworks，具体介绍如下：
使用tunnel：使用tunnel命令可进行数据的上传、数据的下载、数据文件的处理等。
使用datax：datax是离线数据的同步工具，可高效地实现各异构数据源之间的数据同步功能，以及把数据上传到maxcompute中去。其中，异构数据源包括mysql、oracle、sqlserver、postgre、hdfs、hive、ads、hbase、ots、oss、maxcompute 等。总之，tunnel工具是非常重要的，如果没有tunnel工具，在数据同步后数据上云到maxcompute时会出现不统一的问题，最终造成开发困难。
使用dataworks：使用dataworks数据集成来定义数据同步任务，通过同步任务最终达到数据上云的目的。它的模式是向导模式或脚本模式，是基于datax协议的图形界面来进行操作的。在使用dataworks进行数据集成中需要做到四步，第一步，配置数据来源（库和表）和数据流向（库和表）；第二步，对字段映射关系进行配置，且左侧“源表字段”和右侧“宿表字段”为一一对应的关系；第三步，对源表的字段进行过滤和数据加载控制，但要注意的是对源表的字段进行过滤必须在where条件上，且不需要写where关键字；第四步，对同步速率需进行限速控制，切分键一般用源表主键,当容错记录数和比率指超过阈值时，作业报错必须终止。最终，使得数据上云到maxcompute大数据存储及处理平台上。
实时数据上云（同步）方式logstashlogstash是一种分布式日志收集框架，简洁强大，经常与elasticsearch，kibana配置组成著名的elk技术栈，非常适合用来做日志数据的分析。 阿里云流计算为了方便用户将更多数据采集进datahub中，提供了针对logstash的datahub output/input插件。使用logstash，便可以轻松享受到logstash开源社区多达30多种数据源的支持，同时logstash还支持filter对传输字段进行自定义加工等功能。
datahub api阿里云流数据处理平台datahub是流式数据（streaming data）的处理平台，可提供对流式数据的发布、订阅和分发功能，还可以轻松地构建基于流式数据的分析和应用。datahub服务可以对各种移动设备、应用软件、网站服务、传感器等产生的大量流式数据进行持续不断的采集、存储和处理。可以编写应用程序或者使用流计算引擎来处理写入到datahub中的流式数据，例如，实时web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果，例如，实时图表、报警信息、实时统计等。它相较于logstash而言，这种方式性能更优，更适于处理复杂的数据需求。
数据迁移及实时数据同步（上云）数据传输服务(data transmission service) dts支持关系型数据库、nosql、大数据(olap)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。相对于第三方数据流工具而言，数据传输服务 dts 可提供更丰富多样、高性能、高安全可靠的传输链路，同时它提供了诸多便利功能，极大地方便了传输链路的创建及管理。
数据传输致力于在公有云、混合云场景下，解决远距离、毫秒级异步数据的传输难题。它底层的数据流基础设施为阿里双11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行三年之久。
数据架构层的实现企业数据模型在数据架构层的实现
企业数据模型在实现数据架构层时，每一层都有每一层的规范。数据上云到maxcompute(数据存储)大数据存储及处理平台后，将数据进行处理，并把数据放到临时层，在经过简单转换进到基础数层，最后将数据进一步汇总到应用层。临时层的模型设计方式与源系统模型一致，都是统一命名规范的，它设计具有仅保存临时数据的原则，可应用于etl用户数据加工与处理。基础数据层偏3nf设计，它是面向数据整合、长期历史数据存储、详细数据、通用汇总数据的设计，可应用于席查询、应用层数据源等。应用层的设计方式是反正则化设计、星型/雪花模型设计，它是面向一个或几个应用进行模型设计的，可应用于报表查询、数据挖掘等。
数据生成在tpc官网上下载tpc-ds工具，使用下载后的工具生成tpc-ds数据文件，数据文件再生成hdfs、hbase、oss、rds数据源。hdfs和hbase数据源是使用hadoop客户端命令把tpc-ds数据文件加载到hdfs和hbase中，数据源oss是通过oss客户端命令把tpc-ds数据文件加载到oss中，数据源 rds是通过dataworks数据集成把数据文件加载到rds中。
数据上云数据上云任务在设计目录架构和命名规范时，根目录应为01_数据导入格式，目录架构应遵循数据源的不同创建子目录，且相同数据源的数据导入任务放到同一个目录下的规则，命名为源名称+”to”+目标名称格式，值得注意的是任务类型和命名规则的脚本模式和向导模式是不同的。
数据上云任务开发分为数据源配置、脚本模式任务开发、向导模式任务开发、任务调度属性配置四个模块，四个模块具体操作步骤介绍如下：
数据源配置模块：以ftp配置为例，操作步骤为新增数据源、结构化存储-ftp、属性选择及填写、测试连通性、点击完成，最后，在数据源页面就可以看到已配置的数据源。
脚本模式任务开发模块：以ftp->maxcompute为例，操作步骤为在数据集成界面新建任务、选择脚本模式、点击确认、生成配置文件模板、ftp reader配置、maxcompute writer配置、点击保存按钮，最终根据命名规范保存该任务。
向导模式任务开发模块：以rds->maxcompute为例，具体操作步骤为数据集成->同步任务->向导模式、选择数据源、选择表、添加数据过滤条件（可选）、配置切分键（可选）、选择目标数据源、选择目标表、填写分区信息、选择清理规则、字段映射配置、通道控制相关参数配置、与切分键结合使用、填写任务名称、选择保存位置，最后确认任务创建已完成。
任务调度属性配置模块：dataworks任务创建成功后，可以对其相关属性进行配置。当数据集成->点击提交按钮时，适用于刚刚创建完成的任务和初始属性的配置，当数据开发->调度配置时，适用于修改和添加任务属性。
原文链接
本文为云栖社区原创内容，未经允许不得转载。
三年后，一加3/3T的最后一次安全更新
硬件设计中电容电感磁珠总结
什么是DWeb
三星电子去年第四季度营收552.41亿美元
TDK-EPC推出电动车用紧凑型直流链路PCC
数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践
成者CZUR十周年，智造办公新未来
中国移动助力国家新基建5G+高铁覆盖
了解系统监控仪System Monitor的各种功能
TD-LTE产业成熟 三大运营商明确4G牌照事项
手机电池的基础知识
2018 T行神州北京站 艾拉比邀您共话AI 趋势下车主需求和体验
三星调查爱尔兰Galaxy手机爆炸事件
建设高性能终端平台——传音元宇宙的基础设施探索
io端口编址方式有哪些？
随着技术应用的智慧化 LED显示屏越来越“懂人心”
英飞凌联手安克创新与盛弘电气，加速SiC与GaN技术应用
镜头,镜头的种类和作用有哪些?
语言模型GPT-4在北京高考题目上的测试结果
诺基亚9什么时候上市?诺基亚9最新消息:骁龙835+6GB,诺基亚9配置新升级,诺基亚9能否重回巅峰呢?
2018 “maxcompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“数据进入maxcompute的n种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战demo系统，它能够实现自动全链路的大数据处理流程，其中包括离线的和实时数据的，接下来将为大家揭晓实战demo系统是怎样实现自动全链路的大数据处理流程的。
数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!
直播视频回顾
ppt下载请点击
以下内容根据现场分享整理而成。
大数据中心的架构
上图为大数据实战demo的整体架构，它的上云方式是离线的。要实现大数据实战demo的应用，架构必需包含数据源系统、数据仓库、大数据应用系统平台、web/应用平台、流程调度、数据加工及展现、实时处理平台，其中数据仓库包含临时层、基础数据层和应用层三个层次。
在整个架构中，数据上云是重中之重，它可以针对不同的数据源使用不同的上云方式。
首先，数据上云到maxcompute(数据存储)大数据存储及处理平台上，并将数据进行处理；接着，将数据传输到临时层，再经过简单转换进到基础数据层；最后，将数据进一步汇总到应用层进而提供服务。
在这个架构中，是通过协议工具dataworks、datax进行流程调度的，通过quickbi、datav进行数据展现的，通过datehub+streamcompute进行数据处理实时数据的，最后系统将处理后的数据存放到大数据应用平台的rds里面，并通过quickbi、datav进行展现。
数据上云（同步）方式数据上云有许多种方式，对于maxcompute产品而言，它使用的典型的自带工具有tunnel、datax、dataworks，具体介绍如下：
使用tunnel：使用tunnel命令可进行数据的上传、数据的下载、数据文件的处理等。
使用datax：datax是离线数据的同步工具，可高效地实现各异构数据源之间的数据同步功能，以及把数据上传到maxcompute中去。其中，异构数据源包括mysql、oracle、sqlserver、postgre、hdfs、hive、ads、hbase、ots、oss、maxcompute 等。总之，tunnel工具是非常重要的，如果没有tunnel工具，在数据同步后数据上云到maxcompute时会出现不统一的问题，最终造成开发困难。
使用dataworks：使用dataworks数据集成来定义数据同步任务，通过同步任务最终达到数据上云的目的。它的模式是向导模式或脚本模式，是基于datax协议的图形界面来进行操作的。在使用dataworks进行数据集成中需要做到四步，第一步，配置数据来源（库和表）和数据流向（库和表）；第二步，对字段映射关系进行配置，且左侧“源表字段”和右侧“宿表字段”为一一对应的关系；第三步，对源表的字段进行过滤和数据加载控制，但要注意的是对源表的字段进行过滤必须在where条件上，且不需要写where关键字；第四步，对同步速率需进行限速控制，切分键一般用源表主键,当容错记录数和比率指超过阈值时，作业报错必须终止。最终，使得数据上云到maxcompute大数据存储及处理平台上。
实时数据上云（同步）方式logstashlogstash是一种分布式日志收集框架，简洁强大，经常与elasticsearch，kibana配置组成著名的elk技术栈，非常适合用来做日志数据的分析。 阿里云流计算为了方便用户将更多数据采集进datahub中，提供了针对logstash的datahub output/input插件。使用logstash，便可以轻松享受到logstash开源社区多达30多种数据源的支持，同时logstash还支持filter对传输字段进行自定义加工等功能。
datahub api阿里云流数据处理平台datahub是流式数据（streaming data）的处理平台，可提供对流式数据的发布、订阅和分发功能，还可以轻松地构建基于流式数据的分析和应用。datahub服务可以对各种移动设备、应用软件、网站服务、传感器等产生的大量流式数据进行持续不断的采集、存储和处理。可以编写应用程序或者使用流计算引擎来处理写入到datahub中的流式数据，例如，实时web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果，例如，实时图表、报警信息、实时统计等。它相较于logstash而言，这种方式性能更优，更适于处理复杂的数据需求。
数据迁移及实时数据同步（上云）数据传输服务(data transmission service) dts支持关系型数据库、nosql、大数据(olap)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。相对于第三方数据流工具而言，数据传输服务 dts 可提供更丰富多样、高性能、高安全可靠的传输链路，同时它提供了诸多便利功能，极大地方便了传输链路的创建及管理。
数据传输致力于在公有云、混合云场景下，解决远距离、毫秒级异步数据的传输难题。它底层的数据流基础设施为阿里双11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行三年之久。
数据架构层的实现企业数据模型在数据架构层的实现
企业数据模型在实现数据架构层时，每一层都有每一层的规范。数据上云到maxcompute(数据存储)大数据存储及处理平台后，将数据进行处理，并把数据放到临时层，在经过简单转换进到基础数层，最后将数据进一步汇总到应用层。临时层的模型设计方式与源系统模型一致，都是统一命名规范的，它设计具有仅保存临时数据的原则，可应用于etl用户数据加工与处理。基础数据层偏3nf设计，它是面向数据整合、长期历史数据存储、详细数据、通用汇总数据的设计，可应用于席查询、应用层数据源等。应用层的设计方式是反正则化设计、星型/雪花模型设计，它是面向一个或几个应用进行模型设计的，可应用于报表查询、数据挖掘等。
数据生成在tpc官网上下载tpc-ds工具，使用下载后的工具生成tpc-ds数据文件，数据文件再生成hdfs、hbase、oss、rds数据源。hdfs和hbase数据源是使用hadoop客户端命令把tpc-ds数据文件加载到hdfs和hbase中，数据源oss是通过oss客户端命令把tpc-ds数据文件加载到oss中，数据源 rds是通过dataworks数据集成把数据文件加载到rds中。
数据上云数据上云任务在设计目录架构和命名规范时，根目录应为01_数据导入格式，目录架构应遵循数据源的不同创建子目录，且相同数据源的数据导入任务放到同一个目录下的规则，命名为源名称+”to”+目标名称格式，值得注意的是任务类型和命名规则的脚本模式和向导模式是不同的。
数据上云任务开发分为数据源配置、脚本模式任务开发、向导模式任务开发、任务调度属性配置四个模块，四个模块具体操作步骤介绍如下：
数据源配置模块：以ftp配置为例，操作步骤为新增数据源、结构化存储-ftp、属性选择及填写、测试连通性、点击完成，最后，在数据源页面就可以看到已配置的数据源。
脚本模式任务开发模块：以ftp->maxcompute为例，操作步骤为在数据集成界面新建任务、选择脚本模式、点击确认、生成配置文件模板、ftp reader配置、maxcompute writer配置、点击保存按钮，最终根据命名规范保存该任务。
向导模式任务开发模块：以rds->maxcompute为例，具体操作步骤为数据集成->同步任务->向导模式、选择数据源、选择表、添加数据过滤条件（可选）、配置切分键（可选）、选择目标数据源、选择目标表、填写分区信息、选择清理规则、字段映射配置、通道控制相关参数配置、与切分键结合使用、填写任务名称、选择保存位置，最后确认任务创建已完成。
任务调度属性配置模块：dataworks任务创建成功后，可以对其相关属性进行配置。当数据集成->点击提交按钮时，适用于刚刚创建完成的任务和初始属性的配置，当数据开发->调度配置时，适用于修改和添加任务属性。
原文链接
本文为云栖社区原创内容，未经允许不得转载。
三年后，一加3/3T的最后一次安全更新
硬件设计中电容电感磁珠总结
什么是DWeb
三星电子去年第四季度营收552.41亿美元
TDK-EPC推出电动车用紧凑型直流链路PCC
数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践
成者CZUR十周年，智造办公新未来
中国移动助力国家新基建5G+高铁覆盖
了解系统监控仪System Monitor的各种功能
TD-LTE产业成熟 三大运营商明确4G牌照事项
手机电池的基础知识
2018 T行神州北京站 艾拉比邀您共话AI 趋势下车主需求和体验
三星调查爱尔兰Galaxy手机爆炸事件
建设高性能终端平台——传音元宇宙的基础设施探索
io端口编址方式有哪些？
随着技术应用的智慧化 LED显示屏越来越“懂人心”
英飞凌联手安克创新与盛弘电气，加速SiC与GaN技术应用
镜头,镜头的种类和作用有哪些?
语言模型GPT-4在北京高考题目上的测试结果
诺基亚9什么时候上市?诺基亚9最新消息:骁龙835+6GB,诺基亚9配置新升级,诺基亚9能否重回巅峰呢?