Centos7下安装ceph

本来ceph这货的安装简直是傻瓜到一塌糊涂的，但是仰仗于国内伟大的GFW，这安装过程变得极其曲折

以下仅列出最后所使用的手法：


  1. 删除Centos 7自带的的repo（都太慢）
    rm -rf /etc/yum.repos.d/*.repo
  2. 使用阿里云的repo
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
    注意，epel源一定要打开，因为ceph依赖snappy之类的都在epel里面
  3. 添加一个用于安装ceph-deploy的源
    vim /etc/yum.repos.d/ceph.repo
    添加以下内容：
    [ceph]
    name=Ceph packages for $basearch
    baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
  4. yum makecache
  5. yum install ceph-deploy
  6. 接下来就按照官方的教程走就好了，就不大可能出现一大堆诡异的什么无法安装的错误了，这安装流程也异常的简单，唯一注意的：当使用ceph-deploy install的时候，务必这样用：ceph-deploy install --repo-url http://mirrors.aliyun.com/ceph/rpm-jewel/el7 ceph-deploy install admin-node node1 node2 node3（官方的方法是：ceph-deploy install admin-node node1 node2 node3）因为这个ceph-deploy在安装过程中会自动帮你修改repo，所以需要用--repo-url来拒绝这个改动，我安装的是jewel发行版，可根据实际需要修改为最新的
  7. 值得注意的是，从Jewel发行版开始，ceph-osd会拒绝在ext4分区上启动，因为文件名的最大长度被限制在了256的缘故。你可以通过配置修改来规避它的限制，但是不建议在生产环境这么做，官方的推荐是在XFS或者裸设备上安装启动OSD，当然，也可以用btrfs，但是官方并不推荐这么做

接下来说说怎么不用ceph-deploy完全手动安装全部的ceph节点
大致的步骤是，首先安装一个ceph-mon节点，然后添加一个ceph-mon节点，然后安装一个ceph-osd节点，再添加一个ceph-osd节点
主要是参考这个页面：
http://docs.ceph.com/docs/master/install/manual-deployment/

首先在本机上安装ceph，直接yum安装即可
然后
sudo vim /etc/ceph/ceph.conf

用uuidgen生成一个独立的uuid
最后的ceph.conf的格式如下：

[global]
fsid = {cluster-id}
mon initial members = {hostname}[, {hostname}]
mon host = {ip-address}[, {ip-address}]
public network = {network}[, {network}]
cluster network = {network}[, {network}]
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = {n}
osd pool default size = {n}  # Write an object n times.
osd pool default min size = {n} # Allow writing n copy in a degraded state.
osd pool default pg num = {n}
osd pool default pgp num = {n}
osd crush chooseleaf type = {n}

我最后的生成的是这样的：
[global]
fsid = 58943f07-a011-4838-b2b0-33d5ab5d2ad1
mon initial members = star01
mon host = 192.168.206.100
public network = 192.168.206.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1


生成mon用的密匙

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

sudo ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

monmaptool --create --add star01 192.168.206.100 --fsid 58943f07-a011-4838-b2b0-33d5ab5d2ad1 /tmp/monmap


建立一个以clustername - hostname为名字的文件夹
sudo mkdir /var/lib/ceph/mon/ceph-star01

添加Key
sudo -u ceph ceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

（如果这一步不成功，记得把相关的目录所有权全部给ceph）

最后启动ceph，centos7下用systemd启动，@后面是你的hostname
systemctl start ceph-mon@star01

然后就可以查看它是否启动了
systemctl status ceph-mon@star01

添加到自动启动
systemctl enable ceph-mon@star01

检查pool的状况
ceph osd lspools
我这里报告是：
0 rbd,

检查mon的状况
ceph mon stat
我这里的报告是：
e1: 1 mons at {star01=192.168.206.100:6789/0}, election epoch 5, quorum 0 star01


查看ceph的集群状况
ceph -s
结果应该是类似这样：
    cluster 58943f07-a011-4838-b2b0-33d5ab5d2ad1
     health HEALTH_ERR
            64 pgs are stuck inactive for more than 300 seconds
            64 pgs stuck inactive
            no osds
     monmap e1: 1 mons at {star01=192.168.206.100:6789/0}
            election epoch 4, quorum 0 star01
     osdmap e1: 0 osds: 0 up, 0 in
            flags sortbitwise
      pgmap v2: 64 pgs, 1 pools, 0 bytes data, 0 objects
            0 kB used, 0 kB / 0 kB avail
                  64 creating

接下来添加另外两个mon节点，一般来说生产环境中推荐使用至少3个节点，测试的时候倒是可以用一个mon就可以了，推荐使用的是奇数个节点，但是并非强制要求，主要是因为偶数节点其实挺浪费的，比如5节点允许损坏2个节点，但是如果你部署6台，依然只允许损坏2个节点，但是如果你部署7台，就允许损坏3个节点。部署偶数个节点的收益就不是那么大了。

主要参考的是这篇：http://docs.ceph.com/docs/master/rados/operations/add-or-rm-mons/

我用的第二个主机名是star02，ip是192.168.206.101

首先创建mon所在的文件夹

mkdir /var/lib/ceph/mon/ceph-star02

把第一台主机生成的/tem/ceph.mon.keyring 拷贝至/etc/
同样，把第一台主机生成的/etc/ceph/ceph.client.admin.keyring 也拷贝至/etc/ceph/

修改/etc/ceph/ceph.conf为
[global]
fsid = 58943f07-a011-4838-b2b0-33d5ab5d2ad1
mon initial members = star01, star02
mon host = 192.168.206.100, 192.168.206.101
public network = 192.168.206.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1

运行
ceph auth get mon. -o /tmp/ceph.mon.keyring

生成一个新的mapfile
monmaptool --create --add star01 192.168.206.100 --add star02 192.168.206.101 --add star03 192.168.206.102 --fsid 58943f07-a011-4838-b2b0-33d5ab5d2ad1  --clobber /tmp/monmap
这次我添加了三台mon

注册mapfile
ceph mon getmap -o /tmp/monmap

创建
sudo -u ceph ceph-mon --mkfs -i star03 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

启动
systemctl status ceph-mon@star02
【如果你碰到无法启动的问题，首先检查文件夹权限，包括/etc/ceph、/var/lib/ceph，这两个文件夹下所有的文件所有者都应该是ceph】

查看结果：
ceph mon stat
此时应该显示
e2: 2 mons at {star01=192.168.206.100:6789/0,star02=192.168.206.101:6789/0}, election epoch 6, quorum 0,1 star01,star02
在主机上也应该显示同样的结果
其实此时不用变更主机上的ceph.conf也没问题，也就是mon本来就支持动态加入到集群中，毕竟，我们在添加ceph-authtool的时候使用的是allow *，不过为了保险起见，我还是把ceph.conf编辑成和第二节点一致


添加第一个OSD
我选择使用的是ceph最新版才出来的针对裸设备使用的bluestone存储方案，据说性能有大幅度的提升，介绍可以看这里：
https://www.sebastien-han.fr/blog/2016/03/21/ceph-a-new-store-is-coming/

安装前需要先修改一下ceph的配置：
vim /etc/ceph/ceph.conf

我改成了这样：
[global]
fsid = 58943f07-a011-4838-b2b0-33d5ab5d2ad1
mon initial members = star01, star02
mon host = 192.168.206.100, 192.168.206.101
public network = 192.168.206.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1
enable experimental unrecoverable data corrupting features = bluestore rocksdb
bluestore fsck on mount = true
bluestore block db size = 67108864
bluestore block wal size = 134217728
bluestore block size = 5368709120
osd objectstore = bluestore
[osd]
bluestore = true

加上了黑体的部分

安装也很简单，一句话完成

ceph-disk prepare --bluestore --cluster ceph --cluster-uuid 58943f07-a011-4838-b2b0-33d5ab5d2ad1 /dev/sdb

--cluster之后是你的集群的名字，uuid是你集群的fsid，最后是目标硬盘
目标硬盘一定要是一块没有任何分区记录的裸设备
如果出现各种莫名奇妙的python报错，基本上就是设备没有正确的删除分区，用fdisk /dev/sdb，然后一路ddddd最后w退出删除全部分区再次安装即可

中间出问题了启动不了也可以在集群中直接ceph osd rm 0（0是osd的id，用ceph osd tree查看osd的启动情况，把安装时候没有正确启动的直接删除重新安装即可，后来安装的会自动填空的）

这条命令运行完之后会自动在/var/lib/ceph/osd/ceph-xx下挂载你新硬盘的一个分区,一般来说是一个xfs分区，然后在systemd中也会出现一个叫做ceph-osd@xx的启动项目并且自动帮你设置成enable了，相当智能

装完了来装MDS，这个是一个用来把Ceph挂在为系统盘的必要组件，但是这个组件并不成熟，只能说能用，但是现阶段连集群都不支持

首先来手动增加一个mds的key
sudo -u ceph mkdir /var/lib/ceph/mds/ceph-node0/
sudo -u ceph ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-node0/keyring --gen-key -n mds.node0

这个node0就是节点名字，可以随便取名
给他授权
ceph auth add mds.node0 osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-node0/keyring

编辑ceph.conf，添加以下内容
vim /etc/ceph/ceph.conf
[mds.node0]
host = node0

手动启动mds
ceph-mds --cluster ceph -i 0 -m star01:6789

cluster后面跟的是集群的名字，-m后面跟的是mon节点的ip和端口号，默认端口就是6789了

这个时候mds应该已经启动了，可以用这个命令看看它当前的状态
ceph mds stat
我这里的显示是：
e2:, 1 up:standby
嗯，这就是对的了，mds standby，启动了，但是没啥事干，因为我们还没有建立对应的pool

接下来来建立metada和data两个pool
ceph osd pool create cephfs_metadata 33
ceph osd pool create cephfs_data 33

我建立了一个叫做 cephfs_metadata 的pool和一个叫cephfs_data的pool，每个都给了33个pg

接下来创建cephfs
ceph fs new musicfs cephfs_metadata cephfs_data

我建立了一个叫做musicfs的cephfs，它的metadata放在了我刚才建立的metada pool，数据放在了我刚才建立的data pool

这个时候我们再看看mds的状态
ceph mds stat

应该会显示up:active了，这就对了
接下来是mount到本地驱动器

一句话完成
mount -t ceph 192.168.206.100:6789:/ /mnt/ceph -o name=admin,secret=AQANyGFaTo/pMhAAxcBmBxe6lEJWZZBBUOOsog==

其中前面一部分是ceph的mon地址，随便找个一都行，/mnt/ceph是我本地的地址，secret是我/etc/ceph/ceph.client.admin.keyring文件的key的值

接下来就可以在df里面看到硬盘了

评论

发表评论

此博客中的热门博文

转一下关于Fuck的用法

不得不说,不会国骂人的人那一定不是土生土长中国人,相对的,不会用这英文四字真经的绝对也不是土生土长美国人. “Fuck” 是现代英语中最强烈，最有争议的粗语之一，这个词可能也是世界上最著名的亵渎语。但何时这个词从一个友好用法变成亵渎用法却仍然无法解释。一些证明显示，在一些英语为母语的地区，这个词直到17世纪才有一种攻击和亵渎的含义; 而另外一些证明却表明，早在16世纪的英国，这个词已经变成粗语。因此一些诸如牛津大英字典的权威资料仍然无法确定这个粗语的来源，但倾向于相信撒克逊人(英国人)起源说，然后再流传到英国殖民地，再到全世界。 　　 　　在现代英语中，”Fuck”是一种高度冒犯性的用词，是最为严厉的4字母词。”Fuck” 原意就是性交(操，干)，但它往往被用作一个咒骂语和语气加强词。一些”Fuck”原意的例子有： 　　 　　”Let‘ s fuck.” (让我们操吧) 　　”That was a good fuck.” (那真是一次美妙的性交) 　　”I can‘t believe she‘s fucking him!” (我不能相信她正在操他！) 　　”I fucked my teacher!” (我干了我老师) 　　 　　其他则是一些粗直语用法，但这些用法往往牵涉到性，譬如强奸(fuck you)或者自慰(fuck yourself). 　　 　　”Fuck you!” or “Go fuck yourself!” (我不喜欢你，快滚开) 　　”He”s a dumb fuck.” (他是个白痴) 　　”Sorry, I fucked up your computer.” (不好意思，我弄坏了你的电脑) 　　”He‘ s pretty fucked up.” (他心理或者心情不稳定) 　　”I fucked up on this test.” (我这次测验做的很糟) 　　”Let‘s fuck around for a couple hours.” (让我们浪费2个小时好了) 　　”I‘m fucked.” (结果) 　　”What the fuck!” (到底刚才发生了什么?) 　　”Shut the fuck up!” (闭嘴) 　　”I‘m so fucked up right now.” (我已经烂醉或者被药物搞的晕晕乎乎了。) 　　其他一些粗直用法则...
阅读全文

远程记录OpenWRT日志

默认的OpenWRT日志放在/tmp/log下，这样有个问题就是每次重启就会丢失全部的日志，于是公司的路由器每次重启之后连为什么重启都不知道 于是就想办法把日志迁移出来，好在OpenWRT本身就附带了远程日志打印功能，于是直接在内网中开一个rsyslog服务器就可以了 在/etc/rsyslog.d/下新建一个router.conf 内容如下： module(load="imtcp") module(load="imudp") input(type="imudp"      port="514"      ruleset="routerSet") input(type="imtcp"      port="514"      ruleset="routerSet") # rsyslog RuleSets ruleset(name="routerSet") {     action(type="omfile"         File="/var/log/router.log") } （这个配置文件可以在 http://www.rsyslog.com/rsyslog-configuration-builder/ 生成） 接下来启动一下rsyslog服务就可以了 systemctl restart rsyslog 在OpenWRT端需要做的工作： vim /etc/config/system 在config system下增加这么几行         option log_remote '1'         option log_ip '192.168.0.13'  # 你的日志i服务器内网IP         option log_port '514'         option log_size '0'  # 如果不加这个可能会丢失部...
阅读全文

用OpenWRT打造自动翻墙路由器（详解篇）

最初先调整一下bash ，让它符合自己的工作习惯： 到vim /etc/profile，可以在里面设置自己想要的alias 比如我加了一行： alias ll='ls -al' 然后就装图形显示界面再说 首先update一下 opkg update 安装luci opkg install luci 设置luci自动启动 /etc/init.d/uhttpd enable 结果告诉我 /etc/rc.common: line 1: procd_add_reload_trigger: not found 坑爹，搜索了一下发现是因为我的固件版本与软件仓库的版本不符，导致软件与系统组件不搭配所致，后来发现是 新版的OpenWrt更新了而已，于是我升级了一下系统就好了 ，如果你无法升级系统，那么可以按照下述方式解决： 先把安装的那些个用不了的一个个卸载掉 opkg remove luci opkg remove uhttpd-mod-ubus opkg remove uhttpd 修改opkg的配置，修改到以前的仓库 vim /etc/opkg.conf 注释掉原有的仓库地址，改用旧的 #src/gz barrier_breaker http://downloads.openwrt.org/snapshots/trunk/ar71xx/packages src/gz barrier_breaker http://downloads.openwrt.org/attitude_adjustment/12.09/ar71xx/generic/packages 然后在opkg update一下，继续 opkg install luci opkg install luci-i18n-chinese 这次在/etc/init.d/uhttpd start 的时候就不会报错了 然后稳妥的进入luci的Web界面，修改一下时区、界面语言之类的 接下来的工作是 修改防火墙的设置，让远端的HTTP和SSH能够通过 vim /etc/config/firewall config rule                ...
阅读全文