RGW域名访问bucket

背景

RGW处理的报文本质上是一个HTTP报文,通常情况下使用http://<rgw-ip>:<rgw-port>/<bucket-name>的方式来访问一个bucket。实际应用尤其是公有云环境中,通常要在rgw前架设Haproxy等负载均衡设备,且将Haproxy的ip:port映射成一个域名,方便用户使用,这个域名也叫Endpoint

在拥有Endpoint后,访问一个bucket的url变成了http://<endpoint>/<bucket-name>形式。不过这也只是一个ip到域名映射,和RGW关系不大,但后面要说的功能就和RGW密切相关了。

使用url方式访问bucket主要用于静态网站托管,既然是网站,当然就要尽量满足常规网站访问形式。为此出现了两个需求:

需求1:bucket-domain方式访问

bucket-domain方式是指以http://<bucket-name>.<endpoint>形式访问bucket。
如果用户在公有云上托管了一个网站,以http://<myblog>.aws-s3.com形式访问肯定要好于http://aws-s3.com/myblog,前者域名看起来更像是一个独立网站。

需求2:private-domain

private-domain方式是指使用自己的域名访问特定bucket。
如果用户自己已经有了现成的域名,那直接使用肯定是更接地气,而且访问者完全不知道这个网站到底是托管在公有云上还是使用的独立主机。

细说

bucket-domain方式代码实现

首先,对象存储服务提供方需要设置DNS,将<endpoint>下的子域解析到RGW或其前端的负载均衡设备。
当HTTP请求到达RGW后,请求中会携带初始host请求信息,即<bucket-name>.<endpoint>,RGW会根据配置的domain信息,将这个host信息解析成subdomain和domain两部分,分别对应bucket-name和endpoint,随后重新构造一个request url path,格式为/<bucket-name>,至此,整个逻辑回到了最原始的以http://<endpoint>/<bucket-name>访问时的状态。

int RGWREST::preprocess(struct req_state *s, RGWClientIO* cio)
{
  req_info& info = s->info;  //info中存有此次请求相关的信息
...
  if (info.host.size()) {        // info.host中存放的就是用户请求的url domain部分
    ldout(s->cct, 10) << "host=" << info.host << dendl;
    string domain;
    string subdomain;
    bool in_hosted_domain_s3website = false;
    bool in_hosted_domain = rgw_find_host_in_domains(info.host, &domain, &subdomain, hostnames_set);
...
    if (in_hosted_domain && !subdomain.empty()) {  //重新构建request uri
      string encoded_bucket = "/";
      encoded_bucket.append(subdomain);
      if (s->info.request_uri[0] != '/')
        encoded_bucket.append("/");
      encoded_bucket.append(s->info.request_uri);
      s->info.request_uri = encoded_bucket;
    }
...

private-domain方式代码实现

首先,用户需要将自己的域名配置一条CNAME,使对域名的请求跳转到<bucket-name>.<endpoint>
当HTTP请求到达RGW后,请求中携带当host信息是<private-domain>,RGW首先查询自己的domain配置信息,如果没有找到和这个域名相关的内容,则向DNS服务器请求,期待返回一个自己能使用的CNAME domain。

int RGWREST::preprocess(struct req_state *s, RGWClientIO* cio)
{
  req_info& info = s->info;
...
/* 这一段和bucket-domain一样,首先尝试在rgw已配置的domain信息中进行解析 */
  if (info.host.size()) {
    ldout(s->cct, 10) << "host=" << info.host << dendl;
    string domain;
    string subdomain;
    bool in_hosted_domain_s3website = false;
    bool in_hosted_domain = rgw_find_host_in_domains(info.host, &domain, &subdomain, hostnames_set);

    string s3website_domain;
    string s3website_subdomain;

    if (s3website_enabled) {
      in_hosted_domain_s3website = rgw_find_host_in_domains(info.host, &s3website_domain, &s3website_subdomain, hostnames_s3website_set);
      if (in_hosted_domain_s3website) {
    in_hosted_domain = true; // TODO: should hostnames be a strict superset of hostnames_s3website?
        domain = s3website_domain;
        subdomain = s3website_subdomain;
      }
    }
...
/*解析失败后尝试请求DNS,得到CNAME后使用CNAME重新解析*/
    if (g_conf->rgw_resolve_cname
    && !in_hosted_domain
    && !in_hosted_domain_s3website) {
      string cname;
      bool found;
      int r = rgw_resolver->resolve_cname(info.host, cname, &found);
      if (r < 0) {
    ldout(s->cct, 0)
      << "WARNING: rgw_resolver->resolve_cname() returned r=" << r
      << dendl;
      }

      if (found) {
    ldout(s->cct, 5) << "resolved host cname " << info.host << " -> "
             << cname << dendl;
    in_hosted_domain =
      rgw_find_host_in_domains(cname, &domain, &subdomain, hostnames_set);
...
/* 解析成功后,后面的逻辑就又回到了bucket-domain上,即重新构建request uri,然后就进入了常规处理阶段。*/
...

配置RGW domain信息

前面提到RGW会根据自己配置的domain信息对用户的host进行解析,这个domain信息是一个域名列表,列表包括RGW可以识别的domain,由于存在常规s3和s3website两种访问方式,因此会有两个domain信息配置列表

//file: src/rgw/rgw_rest.cc
static set<string> hostnames_set;
static set<string> hostnames_s3website_set;

列表初始化时会加载rgw_dns_name配置项,但此配置项只能配置一条domain,因此如果需要增加多条domain(比如使用private-domain方式,但RGW又无法和解析private-domain的DNS通信的情况下),需要修改zonegroup的hostnames和hostnames_s3website配置。

radosgw-admin zonegroup get > zonegroup.conf
按需修改 zonegroup.conf文件中的hostnames和hostnames_s3website
radosgw-admin zonegroup set --infile=zonegroup.conf

总结

域名访问分三个方式

  • 初级方式:http://<public-cloud-domain>/<bucket-name>
  • 中级方式:http://<bucket-name>.<public-cloud-domain>
  • 高级方式:http://<private-domain>

前两种方式比较简单,无需用户进行额外操作。

第三种方式需要用户配置DNS CNAME,将请求转发到http://<bucket-name>.<public-cloud-domain>上。这种场景需要注意的是,RGW要能够访问到用户配置了CNAME的DNS服务器,否则只能通过增加RGW domain配置信息的方式来进行弥补。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,585评论 18 139
  • 1. 概述 在网络环境中一般用户只需要在浏览器中输入url如www.sunny.com就可以到对应服务器获取相应的...
    ghbsunny阅读 2,864评论 0 7
  • DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能...
    一直在努力hard阅读 4,606评论 3 19
  • 域名(Domain Name),是由一串用 点 分隔的名字 组成的 Internet 上某一台计算机或计算机组的名...
    蓝白自由阅读 2,108评论 1 11
  • 14.1 引言 域名系统(DNS)是一种用于TCP/IP应用程序的分布式数据库,它提供主机名字和IP地址之间的转换...
    张芳涛阅读 1,868评论 0 8