配置微软Azure大数据HDInsight云集群

配置微软Azure大数据HDInsight云集群,存储账户、托管标识等问题也都参考官方文档解决了。
原文在我的开源中国博客:https://my.oschina.net/finchxu/blog/3164887

微软Azure为国外学生提供了100美元额度的免费一年的账户,为国内个人用户提供了1500人民币额度的“免费”一个月账户(花费1元即可获得)。

一元体验账户申请链接:https://www.azure.cn/pricing/1rmb-trial-full/?form-type=identityauth

这个账户能使用完整的微软Azure中国区域资源,包括虚拟机、存储、数据分析等。这里直接配置 HDInsight 大数据分析平台。

1. 首先依次找到“创建资源”=>“数据+分析”=>“ HDInsight ”点击进入配置目录。

创建资源第一步

这里开始第一步,

(1)填写cluster name以方便后来通过web访问你的所有资源。

(2)cluster typer选Hadoop2.7就行。

(3)login name 和密码呢,写好记住就行,也是后边通过web访问的时候要用的。

(4)Resource group你自己新建一个起个名字即可。

(5)地区的话,选择离你近的,中部或者东部都可以。这里要注意,后边别的设置也要选择同样的地区才行。

2. 点击next后进入第二步。配置存储。

我们在创建Azure账户的时候就默认创建了管理员账户,这里还要创建独立的存储账户

(1)首先在左侧边栏找到“存储账户”,右键在新的标签页打开(意思就是不要关闭现有页面)。

创建存储账户

这里的资源组填选择和上边第一步中的resource group一样的就行,后边的所有资源也是都选这一个资源组就好了。

点击下一步后,“网络”默认,“高级”中启用“ 层次结构命名空间 ”,后边的就都是默认就行了。最后点击“创建”稍等就完成了。

账户创建完毕了,存储器其实还不能使用,我们需要创建“托管标识”来管理权限问题。

在最上边搜索条中,搜索“托管标识”,如下图所示

托管标识

点击打开后,选择 添加 即可,这个创建很简单。注意资源组一直都是选同一个,不要新建。

这时候呢,我们把新建的 托管标识 附加到刚才创建的 存储账户 上就完成了。

(1.a)回到 存储账户 页面,点击资源进入详页

(1.b)在左侧边栏找到 “访问控制(标识和访问管理)”

(1.c)点击“添加”=>“添加角色分配”

(1.d)按照下图所示,“角色” 选择 “存储Blob数据所有者”,访问权限 选择 “用户分配的托管标识”,下边自动列出了刚才创建的“托管标识”。这时候选择,并点击保存即可。

角色分配

(2)这时候回到最开始的页面,也就是 HDInsight 配置页面,我们接着配置第二步。

(2.a)“Primary storage type” 选择 “Azure Date Lake Storage Gen2”

(2.b)下边“select a storage account” 点击选择刚才创建的存储账户即可。
image
(2.c)这里的Identity就是我们上边创建的 “托管标识”,在“User-assigned managed identity”中选择之前创建好的托管标识就好啦。
image
    到这里就可以点击next进行下一步了,不过这里的metastore元数据存储可以自定义,这样你的集群被删除的时候,hive元数据都完好无损。

3. 这里来到了最后一步。

最后一步

这里你会发现为什么费用这么高?别急,我们点击 “Cluster size” 就可以选择节点机器的配置来节省。

在右边窗口点击 浏览全部配置 就可以找到低价的。还有可以设置 “Worker nodes” 的数量,hdfs嘛,最低也要来两台吧,这样hdfs也有100G了。

image

4. 这时候把剩余的“下一步”点完,就等待他自动创建集群吧,20mins左右完成,回到仪表板就能找到创建好的资源。点击右边的url就能看到所有资源的控制面板了。大功告成。点击url后会提示输入用户名和密码,,这俩就是上边第一步填写的 “cluster login username&password” 还有ssh登录也是上边写好的。

image
image

微软大法好!!!微软的文档都写得特别详细完整。这一点微软从来都做的特别厉害!!!

原文在我的开源中国博客:https://my.oschina.net/finchxu/blog/3164887

参考文档:

https://docs.microsoft.com/zh-cn/azure/hdinsight/hdinsight-hadoop-provision-linux-clusters

https://docs.microsoft.com/zh-cn/azure/hdinsight/hdinsight-hadoop-use-data-lake-storage-gen2

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容