阿里云EMR入门课第四讲-EMR开通与演示

1 .EMR开通与演示 魏巍 · 阿⾥巴巴/ 产品经理 

2 . 01 概念介绍 CONTENT 02 准备⼯作 ⽬录 >> 03 创建流程演示 

3 .01 概念介绍 Apache Flink 中⽂学习⽹站： ververica.cn © Apache Flink Community China 严禁商业⽤途 

4 .⽹络 VPC 交换机 专有⽹络（Virtual Private Cloud，简称VPC） VPC内ECS实例通过交换机进⾏通讯。根据 是您基于阿⾥云构建的⼀个隔离的⽹络环境， 实例所属的专有⽹络VPC和虚拟交换机⽹段， 专有⽹络之间逻辑上彻底隔离。 专有⽹络VPC类型ECS实例⼀经创建即被分 配⼀个私有IP地址。 安全组 安全组提供类似虚拟防⽕墙功能，⽤于设置 集群内ECS实例的⽹络访问控制，是重要的 安全隔离⼿段。 EMR团队与阿里云安全团队紧密合作及时发现各种高危漏洞，提前预防 

5 . 集群类型 大数据平台 消息系统 ML/AI平台 实时OLAP 分布式协调系统 实时计算 • Data warehouse: Hive • Message Engine: Kafka • Data warehouse: Hive • Compute Engine: Druid • Kafka, Druid, HDFS, YARN, 基于 Apache Flink 官方 • Batch processing: MR, • Cluster Management: • Batch processing: MR, Spark • Data visualization: HBase independent 产品 Ververica 和 E- Spark • Streaming processing: Flink, MapReduce Hadoop 构 Kafka Manager Superset distributed coordinator • Streaming processing: Flink, 建的企业级大数据计 • Authentication Spark Streaming • File System: HDFS Spark Streaming 算平台，完全兼容开 Permission : Ranger. MIT • Deep Learning: TensorFlow, 源 Flink API，并提供额 • Ad hoc: Impala, Presto Kerberos Analytic Zoo 外商业增值能力。 • NoSQL: HBase • Interactive tool: HUE, • Interactive tool: HUE, Zeppelin, Jupyter Zeppelin, Jupyter • Authentication Permission: • Authentication Permission: Apache Ranger, MIT Apache Ranger, MIT Kerberos Kerberos 

6 . EMR集群节点类型 Master • 部署Master服务, HDFS NameNode, YARN ResourceManager等. • HDFS, YARN, Hive, HBase 组件均已实现HA机制 Gateway Gateway Core • 部署YARN NodeManager和DataNode Master Master • 不⽀持弹性伸缩 Task Core Core Task • 部署YARN NodeManager但不会部署DataNode • ⽀持竞价实例和弹性伸缩 Core Core Task Gateway Core Core Task • 部署Hadoop，Spark，Flink等组件的客户端 • ⽀持部署不同部⻔采⽤不同的参数和配置 

7 . 权限策略 ⻆⾊ ⽤户系统策略 RAM⻆⾊是⼀种虚拟⽤户，没有确定的身份认证密钥，需要 权限指在某种条件下允许或拒绝对某些资源执⾏某些操作，权限 被⼀个受信的实体⽤户扮演才能正常使⽤。⾸次使⽤E- 策略是⼀组访问权限的集合。权限策略分为系统策略和⾃定义策 略，需要主账号在RAM控制台上进⾏操作 MapReduce服务时，必须⽤主账号完成默认⻆⾊授权，否则 ⼦账号和主账号不能使⽤E-MapReduce。 系统策略 策略描述 管理E-MapReduce的权限，主要 系统⻆⾊ ⻆⾊描述 包括对E-MapReduce的所有资源 AliyunEMRFullAccess 的所有操作权限。 E-MapReduce才能正常 地调⽤相关服务（ECS和 AliyunEMRDefaultRole E-MapReduce开发者权限，与 OSS等），创建集群以及 AliyunEMRFullAccess策略相⽐， 保存⽇志。 AliyunEMRDevelopAccess 不授予集群的创建和释放等操作 权限。 您创建的E-MapReduce E-MapReduce数据开发的管理员 集群可以以免AK的⽅式 AliyunEmrEcsDefaultRole 权限，⽀持创建项⽬、开发和管 访问阿⾥云资源，例如 AliyunEMRFlowAdmin 理作业，但不⽀持添加项⽬成员 OSS 和管理集群。 

8 .EMR费⽤组成 ECS实例费⽤ 购买E-MapReduce集群时，系统根据您选择的实例配置⾃动购买并创建阿⾥云ECS实例，您 ⽆需提前准备集群所需的ECS实例。同时，如果您的账号拥有云服务器ECS的优惠折扣，创建 集群时将⾃动享受该折扣。 EMR实例费⽤ E-MapReduce会提供集群的多维度管理服务，包括⻚⾯的展示与控制、OpenAPI与SDK的⽀ 持、监控报警、运维⼯具和服务端后台的⾃动化运维等服务。关于E-MapReduce产品的详细 定价有两种类型：包年包⽉和按量付费。⽬前使⽤包年包⽉，EMR实例部分价格享受0折优惠。 外⽹流量费（开启公⽹） Master节点的外⽹流量费⽤未包含在集群的费⽤中，需要单独计算。该部分费⽤采⽤按量付 费的⽅式，按⼩时计算出⽅向的外⽹流量费⽤（⼊⽅向流量免费）。 

9 .02 准备⼯作 Apache Flink 中⽂学习⽹站： ververica.cn © Apache Flink Community China 严禁商业⽤途 

10 .准备⼯作 ⼦账户授权 注册阿⾥云账号 如果您需要使⽤RAM⼦ 如果您还没有阿⾥云的 账号登录EMR控制台， 云账号，请注册阿⾥云 并使⽤控制台上的功能， 确保账户余额充⾜ E-MapReduce 账号，并完成实名认证。 则需要您使⽤主账号登 服务账号授权 根据阿⾥云ECS的规则， 录访问控制RAM控制台， 您在购买按量付费实例时， 您需要给EMR系统默认 授予RAM⼦账号相应的 需要保证阿⾥云账户中可 ⻆⾊授权 权限， ⽤余额不少于100元的⼈⺠ 币（代⾦券⽆效）。 

11 .03 创建流程演示 Apache Flink 中⽂学习⽹站： ververica.cn © Apache Flink Community China 严禁商业⽤途 

12 .THANKS ! 

13 .