RHEL(Redhat)5.5安装lustre-1.8.7

本文于2016.10.31-12:15测试整理，可能对于现在的操作系统，已经显得有些过时，但是人就值得借鉴和思考。

关于lustre的介绍，请查看：lustre文件系统基础知识

一.服务器配置信息简介

1台MGS服务器配置信息:

IP：10.100.150.160

网卡：eth0

操作系统硬盘：80G（/dev/sda）

lustre文件系统数据盘：200G（/dev/sdb）

MDT分区：/dev/sdb1     容量：10G

MDT挂载目录：/mdt

2台OSS服务器配置信息:

IP：10.100.150.161，10.100.150.162

网卡：eth0

操作系统硬盘：80G（/dev/sda）

lustre文件系统数据盘：200G（/dev/sdb）

OST分区3个容量均为20G：/dev/sdb1 /dev/sdb2 /dev/sdb3

OST挂载目录：/ost1    /ost2    /ost3

1台Client服务器配置信息:

IP：10.100.150.163

网卡：eth0

操作系统硬盘：80G（/dev/sda）

Lustre文件系统挂载目录：/export/lustre

二．lustre软件包下载列表:

下载地址:

http://downloads.lustre.org/public/lustre/v1.8/lustre_1.8.7/rhel5-x86_64/

MGS，OSS服务器端下载如下，安装顺序如下:

rpm -Uvh e2fsprogs-1.41.12.2.ora1-0redhat.rhel5.x86_64.rpm
rpm -ivh kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64.rpm
rpm -ivh lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
rpm -ivh lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
rpm -ivh lustre-client-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
rpm -ivh lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
lustre-client-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm  #已包含在lustre-1.8.7软件中，可不用安装

Client服务器端下载如下:

rpm -ivh kernel-2.6.18-194.17.1.el5_lustre.1.8.7.x86_64.rpm
rpm -ivh lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
lustre-client-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm
lustre-client-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.x86_64.rpm

MGS，OSS和Client安装软件包:

安装前的准备:

1.关闭selinux，/etc/selinuc/config文件行修改为SELINUX=disabled，setenforce 0

2.添加相关的iptables策略

MGS，OSS和Client软件包安装命令：

rpm --ivh --force *rpm

MGS，OSS和Client安装完成后均需要重启，默认lustre内核进入系统。

在MGS和OSS上执行如下命令并写入开机脚本/etc/rc.local:

modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'

在MGS服务器上运行如下命令:

格式化MDT分区

mkfs.lustre --fsname=lustre --mgs --mdt /dev/sdb1

重新格式化添加--reformat参数

mkfs.lustre --fsname=lustre --reformat --mgs --mdt /dev/sdb1

挂载MDT分区，写入/etc/rc.local开机脚本:

mount.lustre /dev/sdb1 /mdt

在OSS服务器10.100.150.161上运行如下命令:

格式化OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1

重新格式化添加--reformat参数：

mkfs.lustre --fsname=lustre --reformat --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1

格式化3个OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1
mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb2
mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb3

挂载3个OST分区，写入/etc/rc.local开机脚本：

mount.lustre /dev/sdb1 /ost1
mount.lustre /dev/sdb2 /ost2
mount.lustre /dev/sdb3 /ost3

在OSS服务器10.100.150.162上运行如下命令:

格式化OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1

重新格式化添加--reformat参数：

mkfs.lustre --fsname=lustre --reformat --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1

格式化3个OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb1
mkfs.lustre  --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb2
mkfs.lustre  --fsname=lustre --mgsnode=10.100.150.160@tcp0 --ost /dev/sdb3

挂载3个OST分区，写入/etc/rc.local开机脚本：

mount.lustre /dev/sdb1 /ost1
mount.lustre /dev/sdb2 /ost2
mount.lustre /dev/sdb3 /ost3

在Client服务器10.100.150.163上运行如下命令:

执行挂载命令并写入开机脚本/etc/rc.local:

mount.lustre 10.100.150.160@tcp0:/lustre /export/lustre

至此整个lustre集群已经安装完成，开关机顺序如下:

开机：MGS-->OSS-->Client

关机：Client-->OSS-->MGS