阿里云dataworks数据开发踩坑[doing...]

记录一下我的学习过程....

3. 数据服务权限管理

一般有业务数据库,sls日志库,数据开发空间,数据产品,数据引擎,这些服务应该如何分配在不同的账号下呀...

2. dataworks跨主账号导数据网络问题

遇到一个网络问题,datawork空间和数据服务所在的阿里云主账号不是同一个主账号,怎么解决数据流通的问题
方法1. 直接把独享型资源组EIP加入到数据库白名单中,使用外网地址访问
方法2. 打通两个主账号的VPC,云企业网连接或者VPC对等连接,文档参考

专有网络和交换机概述 (aliyun.com)
跨阿里云主账号访问 (alibabacloud.com)
跨账号网络实例授权 (alibabacloud.com)
通用参考：添加路由 (aliyun.com)
配置资源组与网络连通 (aliyun.com)

1. dataworks,maxcomputer,datahub,oss,E-MapReduce,DataStudio

傻傻分不清

1. dataworks

   
   dataworks
   

   全链路大数据开发治理平台

2. DataStudio

   
   DataStudio
   

   DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面

3. maxcomputer

   
   maxcomputer

阿里云提供的一种全新的大数据计算服务，其具备更高效的计算及存储能力

4. datahub

   
   datahub
   

   流式数据（Streaming Data）的处理平台，提供对流式数据的发布 (Publish)，订阅 （Subscribe）和分发功能

5. oss

   
   oss

对象存储服务,OSS非常适合存储静态资源，例如，用于存储用户定义的内容：图像和电影，存储备份文件和日志

6. E-MapReduce

   
   E-MapReduce
   

   就是Hadoop集群了,可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据

7. EMR和MaxCompute的区别？
   EMR是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品，主要是提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、及时查询、机器学习等场景下的大数据解决方案。 MaxCompute是阿里人自主研发的，对外不开源，封装使用起来方便，而且运维成本比较低，两者在使用场景上基本没有差别。