Ceph和Owncloud部署与使用

Ceph和Owncloud部署与使用

1.部署ceph集群

（1）虚拟机基础配置

在VMware中设置VMnet1的网络为仅主机模式，网段设置为203.0.113.0；VMnet8设置为NAT模式，网段设置为10.0.0.0，如图7-11所示。

图7-11 虚拟机配置

（2）集群网络配置

在三台虚拟机ceph-1、ceph-2、ceph-3上部署Ceph集群，三台虚拟机的IP地址为：10.0.0.101、10.0.0.102、10.0.0.103，子网掩码为255.255.255.0，默认网关为10.0.0.2，DNS服务器为10.0.0.2。

（3）配置client虚拟机

在VMware中创建一台虚拟机，操作系统为CentOS-7-x86_64-DVD-1908，硬盘大小为20G，如图7-12所示。

图7-12 client虚拟机设置

（4）client网络配置

为虚拟机配置主机名：client。配置IP地址：10.0.0.100，子网掩码为255.255.255.0，默认网关为10.0.0.2，DNS服务器为10.0.0.2，使虚拟机可以访问Internet。

2.配置Ceph对象存储

（1）部署Ceph RGW

在ceph-1节点部署Ceph

RGW。

[root@ceph-1 ~]# cd /opt/osd

[root@ceph-1 osd]# ceph-deploy rgwcreate ceph-1

……

（2）编辑pool文件

[root@ceph-1 osd]# vi /root/pool

.rgw

.rgw.root

.rgw.control

.rgw.gc

.rgw.buckets

.rgw.buckets.index

.rgw.buckets.extra

.log

.intent-log

.usage

.users

.users.email

.users.swift

.users.uid

（3）创建脚本

编辑创建和配置pool的脚本文件。

[root@ceph-1 osd]# vi/root/create_pool.sh

#!/bin/bash


PG_NUM=8

PGP_NUM=8

SIZE=3


for i in `cat /root/pool`

        do

        ceph osd pool create $i $PG_NUM

        ceph osd pool set $i size $SIZE

        done


for i in `cat /root/pool`

        do

        ceph osd pool set $i pgp_num $PGP_NUM

        done

（4）运行脚本

运行脚本文件，创建对象存储所使用的所有pool。

[root@ceph-1 osd]# chmod +x/root/create_pool.sh

[root@ceph-1 osd]#/root/create_pool.sh

pool '.rgw' created

set pool 5 size to 3

pool '.rgw.root' already exists

set pool 1 size to 3

pool '.rgw.control' created

set pool 6 size to 3

pool '.rgw.gc' created

set pool 7 size to 3

pool '.rgw.buckets' created

set pool 8 size to 3

pool '.rgw.buckets.index' created

set pool 9 size to 3

pool '.rgw.buckets.extra' created

set pool 10 size to 3

pool '.log' created

set pool 11 size to 3

pool '.intent-log' created

set pool 12 size to 3

pool '.usage' created

set pool 13 size to 3

pool '.users' created

set pool 14 size to 3

pool '.users.email' created

set pool 15 size to 3

pool '.users.swift' created

set pool 16 size to 3

pool '.users.uid' created

set pool 17 size to 3

set pool 5 pgp_num to 8

set pool 1 pgp_num to 8

set pool 6 pgp_num to 8

set pool 7 pgp_num to 8

set pool 8 pgp_num to 8

set pool 9 pgp_num to 8

set pool 10 pgp_num to 8

set pool 11 pgp_num to 8

set pool 12 pgp_num to 8

set pool 13 pgp_num to 8

set pool 14 pgp_num to 8

set pool 15 pgp_num to 8

set pool 16 pgp_num to 8

set pool 17 pgp_num to 8

（5）测试访问集群

在ceph-1节点测试是否能访问Ceph集群，测试成功会出现HEALTH_OK的字样。

[root@ceph-1 osd]# cp/var/lib/ceph/radosgw/ceph-rgw.ceph-1/keyring/etc/ceph/ceph.client.rgw.ceph-1.keyring

[root@ceph-1 osd]# ceph -s -k/var/lib/ceph/radosgw/ceph-rgw.ceph-1/keyring --name client.rgw.ceph-1

 cluster:

   id:     68ecba50-862d-482e-afe2-f95961ec3323

   health: HEALTH_OK


 services:

   mon: 3 daemons, quorum ceph-1,ceph-2,ceph-3 (age 21m)

   mgr: ceph-1(active, since 21m)

   osd: 3 osds: 3 up (since 21m), 3 in (since 7d)

   rgw: 1 daemon active (ceph-1)


  data:

   pools:   17 pools, 136 pgs

   objects: 187 objects, 1.2 KiB

   usage:   3.0 GiB used, 294 GiB /297 GiB avail

pgs:     136 active+clean

3.使用S3

API访问Ceph对象存储

（1）创建用户

在ceph-1节点创建radosgw用户。

[root@ceph-1 osd]# radosgw-adminuser create --uid=radosgw --display-name="radosgw"

{

   "user_id": "radosgw",

   "display_name": "radosgw",

   "email": "",

   "suspended": 0,

   "max_buckets": 1000,

   "subusers": [],

   "keys": [

        {

            "user":"radosgw",

            "access_key": "TMDWQAB2U9LDTHGID8UG",

            "secret_key":"2z7cuRMxDzIZcOfycLR9eZs4dHF6N33gMVTd6ICp"

        }

   ],

   "swift_keys": [],

   "caps": [],

   "op_mask": "read, write, delete",

   "default_placement": "",

   "default_storage_class": "",

   "placement_tags": [],

   "bucket_quota": {

        "enabled": false,

        "check_on_raw": false,

        "max_size": -1,

        "max_size_kb": 0,

        "max_objects": -1

   },

   "user_quota": {

        "enabled": false,

        "check_on_raw": false,

       "max_size": -1,

        "max_size_kb": 0,

        "max_objects": -1

   },

   "temp_url_keys": [],

   "type": "rgw",

   "mfa_ids": []

}

（2）安装bind服务

在client节点安装bind服务。

[root@client ~]# mkdir /opt/bak

[root@client ~]# cd/etc/yum.repos.d

[root@client yum.repos.d]# mv */opt/bak

将CentOS7-Base-163.repo通过SFTP复制到client节点的/etc/yum.repos.d目录中。

[root@client yum.repos.d]# ls

CentOS7-Base-163.repo

[root@client yum.repos.d]# yumclean all

[root@client yum.repos.d]# yummakecache

[root@client yum.repos.d]# yum -y installbind

（3）编辑bind主配置文件

[root@client ~]# vi /etc/named.conf

修改以下配置：

listen-on port 53 {127.0.0.1;10.0.0.100; };

allow-query     { localhost;10.0.0.0/24; };

添加以下配置：

zone "lab.net" IN {

        type master;

        file "db.lab.net";

        allow-update { none; };

};

（4）编辑域lab.net的区域配置文件

[root@client ~]# vi/var/named/db.lab.net

@ 86400 IN SOA lab.net.root.lab.net. (

        20191120

        10800

        3600

        3600000

        86400 )

@ 86400 IN NS lab.net.

@ 86400 IN A 10.0.0.101

* 86400 IN CNAME @

（5）检查配置文件

[root@client ~]# named-checkconf/etc/named.conf

[root@client ~]# named-checkzonelab.net /var/named/db.lab.net

zone lab.net/IN: loaded serial20191120

OK

（6）启动bind服务

[root@client ~]# systemctl startnamed

[root@client ~]# systemctl enable named

Created symlink from/etc/systemd/system/multi-user.target.wants/named.service to/usr/lib/systemd/system/named.service.

（7）配置DNS服务

编辑网卡配置文件，将DNS服务器指向client自己的IP地址。

[root@client ~]# vi/etc/sysconfig/network-scripts/ifcfg-ens32

DNS1=10.0.0.100

（8）定义DNS地址

编辑/etc/resolv.conf，将DNS服务器指向client自己的IP地址。

[root@client ~]# vi/etc/resolv.conf

nameserver 10.0.0.100

（9）安装nslookup

安装nslookup，测试DNS配置

[root@client ~]# yum -y installbind-utils

[root@client ~]# nslookup

> ceph-1.lab.net

Server:         10.0.0.100

Address:        10.0.0.100#53


ceph-1.lab.net  canonical name = lab.net.

Name:   lab.net

Address: 10.0.0.101

> exit

（10）安装s3cmd

访问https://s3tools.org/download，下载s3cmd的2.0.2版本。

[root@client ~]# ls

anaconda-ks.cfg  s3cmd-2.0.2.zip

[root@client ~]# yum -y installunzip python-dateutil

[root@client ~]# unzips3cmd-2.0.2.zip

……

（11）配置s3cmd

[root@client ~]# cd s3cmd-2.0.2

[root@client s3cmd-2.0.2]# ./s3cmd--configure


Enter new values or accept defaultsin brackets with Enter.

Refer to user manual for detaileddescription of all options.


Access key and Secret key are youridentifiers for Amazon S3. Leave them empty for using the env variables.

Access Key: TMDWQAB2U9LDTHGID8UG

Secret Key:2z7cuRMxDzIZcOfycLR9eZs4dHF6N33gMVTd6ICp

Default Region [US]:


Use "s3.amazonaws.com"for S3 Endpoint and not modify it to the target Amazon S3.

S3 Endpoint [s3.amazonaws.com]:ceph-1.lab.net:7480


Use"%(bucket)s.s3.amazonaws.com" to the target Amazon S3."%(bucket)s" and "%(location)s" vars can be used

if the target S3 system supportsdns based buckets.

DNS-style bucket+hostname:porttemplate for accessing a bucket [%(bucket)s.s3.amazonaws.com]:%(bucket).ceph-1.lab.net:7480


Encryption password is used toprotect your files from reading

by unauthorized persons while intransfer to S3

Encryption password:

Path to GPG program [/usr/bin/gpg]:


When using secure HTTPS protocolall communication with Amazon S3

servers is protected from 3rd partyeavesdropping. This method is

slower than plain HTTP, and canonly be proxied with Python 2.7 or newer

Use HTTPS protocol [Yes]: no


On some networks all internetaccess must go through a HTTP proxy.

Try setting it here if you can'tconnect to S3 directly

HTTP Proxy server name:


New settings:

 Access Key: TMDWQAB2U9LDTHGID8UG

 Secret Key: 2z7cuRMxDzIZcOfycLR9eZs4dHF6N33gMVTd6ICp

 Default Region: US

 S3 Endpoint: ceph-1.lab.net:7480

 DNS-style bucket+hostname:port template for accessing a bucket:%(bucket).ceph-1.lab.net:7480

 Encryption password:

 Path to GPG program: /usr/bin/gpg

 Use HTTPS protocol: False

 HTTP Proxy server name:

 HTTP Proxy server port: 0


Test access with suppliedcredentials? [Y/n] n


Save settings? [y/N] y

Configuration saved to'/root/.s3cfg'

（12）显示存储桶

使用命令可以查看S3的存储桶，此处因为还没有使用命令创建，所以结果为空。

[root@client s3cmd-2.0.2]# ./s3cmdls

（13）创建存储桶

在client节点可以使用命令创建存储桶bucket

[root@client s3cmd-2.0.2]# ./s3cmdmb s3://bucket

Bucket 's3://bucket/' created

[root@client s3cmd-2.0.2]# ./s3cmdls

2019-11-23 07:45  s3://bucket

（14）上传文件

将/etc/named.conf和/var/named/db.lab.net上传到存储桶bucket中

[root@client s3cmd-2.0.2]# ./s3cmdput /etc/named.conf s3://bucket

WARNING: Module python-magic is notavailable. Guessing MIME types based on file extensions.

upload: '/etc/named.conf' ->'s3://bucket/named.conf'  [1 of 1]

 1933 of 1933  100% in    1s  1317.89 B/s done

[root@client s3cmd-2.0.2]# ./s3cmdput /var/named/db.lab.net s3://bucket

WARNING: Module python-magic is notavailable. Guessing MIME types based on file extensions.

upload: '/var/named/db.lab.net'-> 's3://bucket/db.lab.net'  [1 of 1]

 182 of 182  100% in    0s     2.78 kB/s done

4.部署LAMP环境

（1）安装最新源

在client节点安装epel和webtatic软件源，防止后面出现丢包。

[root@client ~]# rpm -Uvhhttps://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

[root@client ~]# rpm -Uvhhttps://mirror.webtatic.com/yum/el7/webtatic-release.rpm

[root@client ~]# yum makecache

（2）安装LAMP

在client节点需要安装Owncloud所需的LAMP环境软件包。

[root@client ~]# yum -y install httpd php72wmariadb-server php72w-mysql php72w-gd php72w-xml php72w-intl php72w-mbstring

（3）启动数据库

在搭建Owncloud网盘服务的时候，需要用到数据库，在上一步已经安装了数据库，此处需要启用MariaDB数据库服务。

[root@client ~]# systemctl start mariadb

[root@client ~]# systemctl enable mariadb

（4）启动Apache服务

启动和启用Apache HTTPD Web服务

[root@client ~]# systemctl start httpd

[root@client ~]# systemctl enable httpd

（5）关闭防火墙

[root@client ~]# systemctl stop firewalld

[root@client ~]# systemctl disable firewalld

（6）关闭SElinux

将SELinux模式设置为permissive，并检查是否设置完成

[root@client ~]# setenforce 0

[root@client ~]# vi /etc/selinux/config

SELINUX=permissive

5.配置Owncloud

（1）上传Owncloud压缩包

将OwnCloudTarball_10_0_9.zip通过SFTP传输到client节点的/root目录，并查看。

（2）解压Owncloud

有些centos系统需要自己安装unzip解压文件，此处如果出现无法解压时需看清报错信息。

[root@client ~]# unzipOwnCloudTarball_10_0_9.zip

（3）更新web文件

将Owncloud文件复制到Web服务器默认网站的主目录中，此处使用cp -rf命令是将当前目录下所有文件复制过去。

[root@client ~]# cd owncloud-10.0.9

[root@client owncloud-10.0.9]# cp -rf */var/www/html

（4）设置目录权限

[root@client owncloud-10.0.9]# cd/var/www/html

[root@client html]# chmod -R 777 config

[root@client html]# mkdir data

[root@client html]# chown -R apache:apachedata

（5）设置数据库密码

此处设置MariaDB数据库root用户的密码为123456，后面网盘服务连接数据库时需要设置同样密码，不然无法提供后端存储服务，会导致安装失败。

[root@client html]# mysqladmin -u rootpassword '123456'

（6）创建owncloud数据库

登录MariaDB数据库服务器并创建owncloud数据库，作为后端的数据存储。

[root@client html]# mysql -uroot -p123456

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is 3

Server version: 5.5.64-MariaDB MariaDB Server


Copyright (c) 2000, 2018, Oracle, MariaDBCorporation Ab and others.


Type 'help;' or '\h' for help. Type '\c' toclear the current input statement.


MariaDB [(none)]> CREATE DATABASEowncloud;

Query OK, 1 row affected (0.00 sec)


MariaDB [(none)]> exit

Bye

（7）初始化owncloud网页

在初始化owncloud的页面中会让我们进行一些设置，比如用户、密码和数据库等。选数据库的时候千万要注意几点：

[if !supportLists]n  [endif]首先数据库类型要选择mysql/mariadb，如果选的是sqlite的话，性能会不太好，后面在owncloud的设置页面中也会有提示。到那时想改就比较麻烦了。

[if !supportLists]n  [endif]然后就是如果你的服务器原先就创建过用户和密码，那在选择好数据库类型后，下面的用户和密码就是你之前的用户名和密码

使用浏览器访问client节点的IP地址，创建管理员账号admin，为admin用户设置密码，配置数据库使用MySQL/MariaDB，如图7-13所示。

图7-13 owncloud初始化界面

（8）安装owncloud

输入数据库用户名root、密码123456、数据库名owncloud，单击安装完成，如图7-14所示。

图7-14 owncloud安装

（9）登陆owncloud

使用admin用户登录Owncloud，如图7-15所示。

图7-15 owncloud登陆

如果登录出现错误，在client节点输入以下命令，设置php文件的权限为可读可写可执行。

# chmod -R 777 /var/lib/php/session

（10）配置外部存储

单击页面右上角的adminà设置à管理à存储，单击启用Enable external storage。输入目录名称为s3，选择外部存储为Amazon S3，输入存储桶为bucket、主机名为ceph-1.lab.net、端口号为7480、区域为US，启用Path Style，输入Access Key和Secret Key。当看到前面出现绿色圆圈时，表示外部存储配置成功，如图7-16所示。

图7-16 配置外部存储

（11）查看S3目录

通过主界面可以看到之前创建的s3目录，如图7-17所示

图7-17 S3外部存储

（12）网盘测试

此时双击s3可以进入s3目录，并且可以看到之前实验使用s3cmd上传的文件，也可以在Web界面上传文件或下载文件，还原了平时所使用网盘的功能，如图7-18所示。

图7-18 网盘测试

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,214评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,307评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,543评论 0赞 341
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,221评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,224评论 5赞 371
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,007评论 1赞 284
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,313评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,956评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,441评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,685评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,234评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1赞 261
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2赞 345