ubuntu18.08+Ceph pacific

ceph官方文档：https://docs.ceph.com/en/latest/start/intro/一. ceph组件：Monitors，Managers，OSDs，MDSs

Monitors：Ceph Monitor ( ceph-mon) 维护集群状态的映射，包括监视器映射、管理器映射、OSD 映射、MDS 映射和 CRUSH 映射。这些映射是 Ceph 守护进程相互协调所需的关键集群状态。监视器还负责管理守护进程和客户端之间的身份验证。通常至少需要三个监视器才能实现冗余和高可用性。

Managers：Ceph 管理器守护进程 ( ceph-mgr) 负责跟踪运行时指标和 Ceph 集群的当前状态，包括存储利用率、当前性能指标和系统负载。Ceph 管理器守护进程还托管基于 Python 的模块来管理和公开 Ceph 集群信息，包括基于 Web 的Ceph 仪表板和 REST API。高可用性通常至少需要两个管理器。

Ceph OSD：Ceph OSD（对象存储守护进程 ceph-osd）存储数据，处理数据复制、恢复、重新平衡，并通过检查其他 Ceph OSD 守护进程的心跳来向 Ceph 监视器和管理器提供一些监控信息。通常至少需要 3 个 Ceph OSD 来实现冗余和高可用性。

MDS：Ceph 元数据服务器（MDS，ceph-mds）代表Ceph 文件系统存储元数据（即 Ceph 块设备和 Ceph 对象存储不使用 MDS）。Ceph的元数据服务器允许POSIX文件系统的用户来执行基本的命令（如 ls，find没有放置在一个Ceph存储集群的巨大负担，等等）。

二.可以支持的文件系统：文件存储，块存储，对象存储，这三种存储方式没有优劣之分，取决于应用场景。

三.ceph数据的写流程：分为两步，第一步，根据Hash算法来计算对象名称，将其映射到对应的PG；第二部，根据Crush算法将PG映射到对应的OSD。

四.ceph的安装：

环境部署

windows10操作系统 + VMware15 + Ubuntu18.04 安装 + Ceph Pacific

在windows10上面安装了VMware15，ceph部署在ubuntu18上，使用10台服务器

ceph组件：

网络：在VMWare上设置的，集群网络用的仅主机模式，节点网络使用的nat模式，因此出公网用的节点网络，配置的时候。默认网关配置在节点网络

集群网络： 192.168.133.0/24

节点网络： 192.168.241.0/24

部署节点：

192.168.241.11 ceph-deploy

monitor节点：

192.168.241.12 ceph-mon1

192.168.241.13 ceph-mon2

192.168.241.14 ceph-mon3

manger节点：

192.168.241.15 ceph-mgr1

192.168.241.16 ceph-mgr2

node节点4个

192.168.241.17 ceph-node1

192.168.241.18 ceph-node2

192.168.241.19 ceph-node3

192.168.241.20 ceph-node4

1.配置主机名和网卡信息，按照上面的ip和主机名对应，vi /etc/hostname，并重启服务器

采用主机模式和nat模式,ens33是主机模式，ens38是nat模式，要想在

huahualin@ceph-deploy:~$ cat /etc/netplan/01-netcfg.yaml

# This file describes the network interfaces available on your system

# For more information, see netplan(5).

network:

version: 2

renderer: networkd

ethernets:

ens33:

dhcp4: no

dhcp6: no

addresses: [192.168.133.11/24]

# gateway4: 192.168.1.1

#nameservers:

# addresses: [114.114.114.114]

ens38:

dhcp4: no

dhcp6: no

addresses: [192.168.241.11/24]

gateway4: 192.168.241.2

nameservers:

addresses: [114.114.114.114]

#重启网卡服务

huahualin@ceph-deploy:~$ sudo netplan apply

@ceph-deploy:~$ ifconfig

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

inet 192.168.133.11 netmask 255.255.255.0 broadcast 192.168.133.255

inet6 fe80::20c:29ff:fe9f:ab01 prefixlen 64 scopeid 0x20<link>

ether 00:0c:29:9f:ab:01 txqueuelen 1000 (Ethernet)

RX packets 150 bytes 24996 (24.9 KB)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 15 bytes 1146 (1.1 KB)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

ens38: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

inet 192.168.241.11 netmask 255.255.255.0 broadcast 192.168.241.255

inet6 fe80::20c:29ff:fe9f:ab0b prefixlen 64 scopeid 0x20<link>

ether 00:0c:29:9f:ab:0b txqueuelen 1000 (Ethernet)

RX packets 3957 bytes 432025 (432.0 KB)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 3215 bytes 1097834 (1.0 MB)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536

inet 127.0.0.1 netmask 255.0.0.0

inet6 ::1 prefixlen 128 scopeid 0x10<host>=

loop txqueuelen 1000 (Local Loopback)

RX packets 8 bytes 836 (836.0 B)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 8 bytes 836 (836.0 B)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

2.所有服务器上执行提升普通用户权限，免密执行命令，指定完毕后退出到huahualin普通用户环境

~$ sudo -i

~# echo 'huahualin ALL=(ALL:ALL) NOPASSWD:ALL' >> /etc/sudoers

~# exit

3.在ceph-deploy节点安装并部署ansible

#安装ansible

huahualin@ceph-deploy:~$ sudo apt install ansible -y

#配置免密登录,一路回车

huahualin@ceph-deploy:~$ ssh-keygen

#配置deploy节点到各服务器的互信，huahualin到huahualin的互信，将公钥拷贝到相应节点

huahualin@ceph-deploy:~$for i in `cat 1` ;do echo huahualin@1234| ssh-copy-id -i /home/huahualin/.ssh/id_rsa.pub $i;done

cat /etc/ansible/hosts

[mon]

192.168.241.12 ansible_ssh_user=huahualin

192.168.241.13 ansible_ssh_user=huahualin

192.168.241.14 ansible_ssh_user=huahualin

[mgr]

192.168.241.15 ansible_ssh_user=huahualin

192.168.241.16 ansible_ssh_user=huahualin

[node]

192.168.241.17 ansible_ssh_user=huahualin

192.168.241.18 ansible_ssh_user=huahualin

192.168.241.19 ansible_ssh_user=huahualin

192.168.241.20 ansible_ssh_user=huahualin

#配置主机名解析

huahualin@ceph-deploy:~$ cat /etc/hosts

127.0.0.1 localhost

127.0.1.1 192.localdomain 192

# The following lines are desirable for IPv6 capable hosts

::1 localhost ip6-localhost ip6-loopback

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

192.168.241.11 ceph-deploy

192.168.241.12 ceph-mon1

192.168.241.13 ceph-mon2

192.168.241.14 ceph-mon3

192.168.241.15 ceph-mgr1

192.168.241.16 ceph-mgr2

192.168.241.17 ceph-node1

192.168.241.18 ceph-node2

192.168.241.19 ceph-node3

192.168.241.20 ceph-node4

#将/etc/hosts文件主机名解析拷贝到各服务器，-f是并发的线程数，-m指定copy模块，-a指定参数

huahualin@ceph-deploy:~$ ansible all -f 9 -m copy -a "src=/etc/hosts dest=/etc"

#配置ceph的源，找到清华镜像源，按照网站的提示替换相应的源就是了

先导入key

https://mirrors.tuna.tsinghua.edu.cn/help/ceph/

只需要把文档中出现的 download.ceph.com 替换为 mirrors.tuna.tsinghua.edu.cn/ceph 即可。

即：wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

替换为：导入密钥需要在每个服务器都要导入

wget -q -O- 'https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc' | sudo apt-key add -

而ceph的版本这是使用pacific ，系统ubuntu18也要替换成bonic

sudo apt-add-repository 'deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-octopus/ buster main'

替换成：

sudo apt-add-repository 'deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic main'

配置好镜像仓库将配置部署到所有服务器：普通用户只能拷贝到tmp目录下，这块我也没找到直接拷贝过去的办法，所以先拷贝到tmp然后再拷贝到相应/etc/apt目录下

huahualin@ceph-deploy:~$ansible all -f 9 -m copy -a "src=/etc/apt/sources.list dest=/tmp"

huahualin@ceph-deploy:~$ ansible all -f 9 -m shell -a "sudo cp /tmp/sources.list /etc/apt/"

#然后所有节点更新源，执行

huahualin@ceph-deploy:~$ sudo apt update

#创建一个普通账户ceph来部署ceph

sudo groupadd ceph -g 2021 && sudo useradd -m -s /bin/bash -u 2021 -g 2021 ceph && sudo echo ceph:ceph@1234| sudo chpasswd

#所有节点执行，让ceph以非交互式的方式执行命令,官方安装部署需要ceph用户执行

huahualin@ceph-deploy:~$ sudo -i

root@ceph-deploy:~# sudo echo 'ceph ALL=(ALL:ALL) NOPASSWD:ALL' >> /etc/sudoers

root@ceph-deploy:~# exit

#配置deploy节点的ceph用户到各服务器ceph用户的互信，先切换到ceph用户

huahualin@ceph-deploy:~$ su - ceph

Password:

ceph@ceph-deploy:~$ ssh-keygen

Generating public/private rsa key pair.

Enter file in which to save the key (/home/ceph/.ssh/id_rsa):

Created directory '/home/ceph/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/ceph/.ssh/id_rsa.

Your public key has been saved in /home/ceph/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:41lBo965Bsmv+a3fhDZN4NCoD0FXm3rSB2qC0t3nXIw ceph@ceph-deploy

The key's randomart image is:

+---[RSA 2048]----+

| . +.. |

| . + + o |

| o + * |

| . = * O = |

| . o S X E = |

| . . @ B * |

| o = * o |

| + o + |

| o.ooo . |

+----[SHA256]-----+

ceph@ceph-deploy:~$ for i in {12..20};do ssh-copy-id -i /home/ceph/.ssh/id_rsa.pub 192.168.241.$i;done

#到这里为止，可以可以给每个服务器，包括deploy创建快照，以便于后来重新部署恢复

#安装ceph-deploy部署工具，这里使用ceph，但是此知名用户名被人熟知不太安全，ceph名被保留给了Ceph守护进程，升级前必须先删掉这个用户，也可以使用别的普通用户名替代，

ceph@ceph-deploy:~$ sudo apt-cache madison ceph-deploy

ceph-deploy | 2.0.1 | https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic/main amd64 Packages

ceph-deploy | 2.0.1 | https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic/main i386 Packages

ceph-deploy | 1.5.38-0ubuntu1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/universe amd64 Packages

ceph-deploy | 1.5.38-0ubuntu1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/universe i386 Packages

ceph@ceph-deploy:~$ sudo apt install ceph-deploy -y

#创建生成集群

mkdir ceph-cluster

cd ceph-clusteceph-deploy new --cluster-network 192.168.133.0/24 --public-network 192.168.241.0/24 ceph-mon1

会生成：只是生成配置文件，还没有在mon服务器上安装任何包

ceph.conf ceph-deploy-ceph.log ceph.mon.keyring

ceph@ceph-deploy:~/ceph-cluster$ cat ceph.conf

[global]

fsid = 30e28db1-cfea-4e9d-9be6-148d4fa39545 #集群id

public_network = 192.168.241.0/24

cluster_network = 192.168.133.0/24

mon_initial_members = ceph-mon1

mon_host = 192.168.241.12

auth_cluster_required = cephx

auth_service_required = cephx

auth_client_required = cephx

#在所有mon节点安装ceph-mon,用于初始化mon，一路默认就好了

sudo apt install ceph-mon -y

#到ceph-deploy节点上初始化mon节点，会读取ceph.conf配置文件读取配置去到相应的节点初始化，并在mon节点上重建ceph用户的家目录，uid和gid不变，装包的时候会新建一个用户，key就会变了，到后面可以重新导入一次key。并在deploy节点上生成各组件的key

ceph@ceph-deploy:~/ceph-cluster$ ceph-deploy mon create-initial

到mon节点查看，

huahualin@ceph-mon1:~$ cat /etc/passwd

ceph:x:2021:2021:Ceph storage service:/var/lib/ceph:/bin/bash

进程也起来了：

huahualin@ceph-mon1:~$ ps axu|grep mon

ceph 12110 0.1 2.0 480392 41648 ? Ssl 23:39 0:00 /usr/bin/ceph-mon -f --cluster ceph --id ceph-mon1 --setuser ceph --setgroup ceph

#到deploy节点安装ceph-comman查看集群状态,这里要退出ceph登录，也不要经过ceph的登录终端，直接点从别的用户登录安装，不然会和ceph的家目录冲突，要么使用ceph之外的用户安装，要么重新登录终端安装

ceph@ceph-deploy:~/ceph-cluster$ exit

logout

huahualin@ceph-deploy:~/ceph-cluster$ sudo -i

root@ceph-deploy:~# apt install -y ceph-common

#能使用ceph这个命令说明就已经好了，因为配置还没有弄好，所以汇报这个错

huahualin@ceph-deploy:~/ceph-cluster$ ceph -s

Error initializing cluster client: ObjectNotFound('RADOS object not found (error calling conf_read_file)',)

#ceph-deploy上把key拷贝到新生成的家目录，

sudo - ceph

cp /home/ceph/ceph-cluster /var/lib/ceph/ -r

#然后到ceph-cluster目录下执行ceph -s，会看到很多错误，需要使用admin去推送这些key才能管理ceph

ceph@ceph-deploy:/home/ceph/ceph-cluster$ cd /var/lib/ceph/ceph-cluster/

ceph@ceph-deploy:~/ceph-cluster$ ceph -s

#推送key到指定服务器，就会在相应机器的/etc/ceph目录下得到ceph.conf和key文件

到node1上看

ceph-deploy admin ceph-node1 ceph-deploy #推送给自己

ceph-deploy admin ceph-node1 ceph-node2 ceph-node3 ceph-node4 #推送给别的节点

#到刚刚推送的几个节点上查看

root@ceph-node1:~# ls /etc/ceph/

ceph.client.admin.keyring ceph.conf rbdmap tmpMLt9SR

#授权，到推送的个节点上修改key文件权限，默认是root的，普通用户不能使用

-u 把用户改为ceph，下面到推送了key的节点进行授权

ceph@ceph-deploy:~/ceph-cluster$ sudo setfacl -m u:ceph:rw /etc/ceph/ceph.client.admin.keyring

如果没有setfacl这个命令，需要安装acl包

ceph@ceph-deploy:~/ceph-cluster$ sudo apt install acl

#可以查看有一个mon节点

ceph@ceph-deploy:~/ceph-cluster$ ceph -s

cluster:

id: 30e28db1-cfea-4e9d-9be6-148d4fa39545

health: HEALTH_WARN

mon is allowing insecure global_id reclaim

services:

mon: 1 daemons, quorum ceph-mon1 (age 80m)

mgr: no daemons active

osd: 0 osds: 0 up, 0 in

data:

pools: 0 pools, 0 pgs

objects: 0 objects, 0 B

usage: 0 B used, 0 B / 0 B avail

pgs:

#到mgr节点安装mgr

sudo apt install ceph-mgr

#创建一个mrg节点，到deploy上指执行

ceph@ceph-deploy:~/ceph-cluster$ ceph-deploy mgr create ceph-mgr1

可以查看，有一个mgr节点了

ceph@ceph-deploy:~/ceph-cluster$ ceph -s

cluster:

id: 30e28db1-cfea-4e9d-9be6-148d4fa39545

health: HEALTH_WARN

mon is allowing insecure global_id reclaim

services:

mon: 1 daemons, quorum ceph-mon1 (age 82m)

mgr: ceph-mgr1(active, since 4s)

osd: 0 osds: 0 up, 0 in

data:

pools: 0 pools, 0 pgs

objects: 0 objects, 0 B

usage: 0 B used, 0 B / 0 B avail

pgs:

#deploy添加osd

添加osd之前安装node节点的基本环境，初始化node环境：

ceph@ceph-deploy:~$ ceph-deploy install --no-adjust-repos --nogpgcheck ceph-node1

ceph@ceph-deploy:~$ ceph-deploy install --no-adjust-repos --nogpgcheck ceph-node2

ceph@ceph-deploy:~$ ceph-deploy install --no-adjust-repos --nogpgcheck ceph-node3

ceph@ceph-deploy:~$ ceph-deploy install --no-adjust-repos --nogpgcheck ceph-node4

解决ceph -s 告警 mon is allowing insecure global_id reclaim，需要禁用非安全模式，执行如下命令

ceph config set mon auth_allow_insecure_global_id_reclaim false

#擦除磁盘之前安装基本运行环境

ceph@ceph-deploy:~$ ceph-deploy install --release pacific ceph-node1

ceph@ceph-deploy:~$ ceph-deploy install --release pacific ceph-nod32

ceph@ceph-deploy:~$ ceph-deploy install --release pacific ceph-node4

#新加磁盘不重启系统

root@ceph-node2:~# ls /sys/class/scsi_host/

host0 host11 host14 host17 host2 host22 host25 host28 host30 host4 host7

host1 host12 host15 host18 host20 host23 host26 host29 host31 host5 host8

host10 host13 host16 host19 host21 host24 host27 host3 host32 host6 host9

root@ceph-node2:~# for i in {0..32};do echo "- - -" > /sys/class/scsi_host/host$i/scan;done

#擦除磁盘,只能擦除b到d盘，因为sda是系统盘不能擦除

ceph@ceph-deploy:~$ ceph-deploy disk zap ceph-node1 /dev/sdb

for i in {b..d};do ceph-deploy disk zap ceph-node1 /dev/sd$i ;done

for i in {b..d};do ceph-deploy disk zap ceph-node2 /dev/sd$i ;done

for i in {b..d};do ceph-deploy disk zap ceph-node3 /dev/sd$i ;done

echo ceph@1234|for i in {b..d};do ceph-deploy disk zap ceph-node4 /dev/sd$i ;done

#添加主机磁盘osd,id从0开始

数据：对象数据，元数据，wal日志即预写日志

for i in {b..d};do ceph-deploy osd create ceph-node1 --data /dev/sd$i;done

for i in {b..d};do ceph-deploy osd create ceph-node2 --data /dev/sd$i;done

for i in {b..d};do ceph-deploy osd create ceph-node3 --data /dev/sd$i;done

for i in {b..d};do ceph-deploy osd create ceph-node4 --data /dev/sd$i;done

#查看集群状态，正常

ceph@ceph-deploy:~$ ceph -s

cluster:

id: 30e28db1-cfea-4e9d-9be6-148d4fa39545

health: HEALTH_OK

services:

mon: 1 daemons, quorum ceph-mon1 (age 4h)

mgr: ceph-mgr1(active, since 5h)

osd: 12 osds: 12 up (since 14s), 12 in (since 22s)

data:

pools: 1 pools, 1 pgs

objects: 0 objects, 0 B

usage: 74 MiB used, 240 GiB / 240 GiB avail

pgs: 1 active+clean

#创建存储池

ceph@ceph-deploy:~$ ceph osd pool create --help

osd pool create <pool> [<pg_num:int>] [<pgp_num: create pool

int>] [replicated|erasure] [<erasure_code_profile>]

[<rule>] [<expected_num_objects:int>] [<size:int>]

[<pg_num_min:int>] [on|off|warn] [<target_size_

bytes:int>] [<target_size_ratio:float>]

ceph osd pool create mypool 32 32

ceph osd pool ls #查看有多少存储池 rados lspools

ceph pg ls-by-pool mypool

ceph@ceph-deploy:~$ ceph pg ls-by-pool mypool | awk '{print $1,$2,$15}'

pg一定是跨主机的

ceph@ceph-deploy:~$ ceph osd tree

ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF

-1 0.23383 root default

-3 0.05846 host ceph-node1

0 hdd 0.01949 osd.0 up 1.00000 1.00000

1 hdd 0.01949 osd.1 up 1.00000 1.00000

2 hdd 0.01949 osd.2 up 1.00000 1.00000

-5 0.05846 host ceph-node2

3 hdd 0.01949 osd.3 up 1.00000 1.00000

5 hdd 0.01949 osd.5 up 1.00000 1.00000

7 hdd 0.01949 osd.7 up 1.00000 1.00000

-7 0.05846 host ceph-node3

4 hdd 0.01949 osd.4 up 1.00000 1.00000

6 hdd 0.01949 osd.6 up 1.00000 1.00000

8 hdd 0.01949 osd.8 up 1.00000 1.00000

-9 0.05846 host ceph-node4

9 hdd 0.01949 osd.9 up 1.00000 1.00000

10 hdd 0.01949 osd.10 up 1.00000 1.00000

11 hdd 0.01949 osd.11 up 1.00000 1.00000

#ceph 的 rados 命令可以实现访问 ceph 对象存储的功能

ceph@ceph-deploy:~$ sudo rados put msg1 /var/log/syslog --pool=mypool

--pool=mypool #把 messages 文件上传到 mypool 并指定对象 id 为 msg1

ceph@ceph-deploy:~$ sudo rados ls --pool=mypool

msg1

#mon的高可用，现在mon节点安装mon的组件包ceph-mon

sudo apt -y install ceph-mon

#deploy节点上添加mon节点，此前已经有mon1了

ceph@ceph-deploy:~$ ceph-deploy mon add ceph-mon2

ceph@ceph-deploy:~$ ceph-deploy mon add ceph-mon3

#查看mon节点状态：

ceph@ceph-deploy:~$ ceph quorum_status -f json-pretty

#mgr节点扩展，mgr不能进行选举，没有高可用功能，一般两个就够了，也有M/S这种高可用，一个节点挂了，另外一个也会主动接管服务，此前已经有一个mgr1了，只需要创建mgr2

ceph@ceph-deploy:~$ ceph-deploy mgr create ceph-mgr2

#创建块存储

$ ceph osd pool create myrbd1 64 64 #创建存储池,指定 pg 和 pgp 的数量，pgp 是对存在

于 pg 的数据进行组合存储，pgp 通常等于 pg 的值

ceph osd pool application enable myrbd1 rbd #对存储池启用 RBD 功能

rbd pool init -p myrbd1 #初始化、

还不能直接用，需要先挂上去

#需要

集群网络给自己管理使用，外部网络是给客户端使用的

#mon节点

#部署客户端

如果还要部署客户端，客户端也要导入key

最后编辑于：2021.10.13 14:31:33

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,793评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,567评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,342评论 0赞 338
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,825评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,814评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,680评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,033评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,687评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 42,175评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,668评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,775评论 1赞 332
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,419评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,020评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,978评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,206评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,092评论 2赞 351
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,510评论 2赞 343

ubuntu18.08+Ceph pacific

推荐阅读更多精彩内容