RHEL(Redhat)6.6安装lustre-2.7.0

 本文于2015.9.11--21:19测试整理

一.服务器配置信息简介

1台MGS服务器配置信息:

IP：10.100.150.166

网卡：eth0

操作系统硬盘：80G（/dev/sda）

lustre文件系统数据盘：200G（/dev/sdb）

MDT分区：/dev/sdb1     容量：10G

MDT挂载目录：/mdt

2台OSS服务器配置信息:

IP：10.100.150.167，10.100.150.168

网卡：eth0

操作系统硬盘：80G（/dev/sda）

lustre文件系统数据盘：200G（/dev/sdb）

OST分区3个容量均为20G：/dev/sdb1 /dev/sdb2 /dev/sdb3

OST挂载目录：/ost1    /ost2    /ost3

1台Client服务器配置信息:

IP：10.100.150.169

网卡：eth0

操作系统硬盘：80G（/dev/sda）

Lustre文件系统挂载目录：/export/lustre

二．lustre软件包下载列表:

下载地址:

https://downloads.hpdd.intel.com/public/lustre/
https://downloads.hpdd.intel.com/public/e2fsprogs/latest/el6/RPMS/x86_64/

MGS，OSS服务器端下载如下:

rpm -ivh kernel-firmware-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh kernel-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh lustre-modules-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -ivh perf-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh perf-debuginfo-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh python-perf-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh python-perf-debuginfo-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-mount-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -Uvh e2fsprogs-1.42.12.wc1-7.el6.x86_64.rpm --nodeps
rpm -Uvh e2fsprogs-libs-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh libcom_err-1.42.12.wc1-7.el6.x86_64.rpm --nodeps
rpm -Uvh libss-1.42.12.wc1-7.el6.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -ivh lustre-tests-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm --nodeps
rpm -ivh lustre-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm –nodeps

Client服务器端下载如下:

lustre-client-2.7.0-2.6.32_504.8.1.el6.x86_64.x86_64.rpm
lustre-client-modules-2.7.0-2.6.32_504.8.1.el6.x86_64.x86_64.rpm

MGS，OSS和Client安装软件包:

安装前的准备:

1.关闭selinux，/etc/selinuc/config文件行修改为SELINUX=disabled，setenforce 0

2.添加相关的iptables策略

shell安装脚本如下:

#!/bin/bash
#安装顺序如下
rpm -ivh kernel-firmware-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh kernel-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh lustre-modules-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -ivh perf-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh perf-debuginfo-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh python-perf-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh python-perf-debuginfo-2.6.32-504.8.1.el6_lustre.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-mount-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -Uvh --nodeps e2fsprogs-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh e2fsprogs-libs-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh --nodeps libcom_err-1.42.12.wc1-7.el6.x86_64.rpm
rpm -Uvh libss-1.42.12.wc1-7.el6.x86_64.rpm
rpm -ivh lustre-osd-ldiskfs-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -ivh --nodeps lustre-tests-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm
rpm -ivh --nodeps lustre-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm

Client安装:

rpm –ivh –nodeps lustre-client-2.7.0-2.6.32_504.8.1.el6.x86_64.x86_64.rpm
rpm –ivh –nodeps lustre-client-modules-2.7.0-2.6.32_504.8.1.el6.x86_64.x86_64.rpm

MGS和OSS安装完成后需要重启，默认lustre内核进入系统，Client不需要重启。

在MGS和OSS上执行如下命令并写入开机脚本/etc/rc.local:

modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'

在MGS服务器上运行如下命令:

格式化MDT分区

mkfs.lustre --fsname=lustre --mgs --mdt --index=0 /dev/sdb1

重新格式化添加--reformat参数

mkfs.lustre --fsname=lustre --reformat --mgs --mdt --index=0 /dev/sdb1

--index=0参数：第一个MDT为0，第二个为1，以此类推

挂载MDT分区，写入/etc/rc.local开机脚本:

mount.lustre /dev/sdb1 /mdt

在OSS服务器10.100.150.167上运行如下命令:

格式化OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=0 /dev/sdb1

重新格式化添加--reformat参数：

mkfs.lustre --fsname=lustre --reformat --mgsnode=10.100.150.166@tcp0 --ost --index=0 /dev/sdb1

格式化3个OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=0 /dev/sdb1
mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=1 /dev/sdb2
mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=2 /dev/sdb3

--index=0参数：第一个OST为0，第二个为1，以此类推，同一个fsname中OST的--index参数值不能相同

挂载3个OST分区，写入/etc/rc.local开机脚本：

mount.lustre /dev/sdb1 /ost1
mount.lustre /dev/sdb2 /ost2
mount.lustre /dev/sdb3 /ost3

在OSS服务器10.100.150.168上运行如下命令:

格式化OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=0 /dev/sdb1

重新格式化添加--reformat参数：

mkfs.lustre --fsname=lustre --reformat --mgsnode=10.100.150.166@tcp0 --ost --index=0 /dev/sdb1

格式化3个OST分区：

mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=3 /dev/sdb1
mkfs.lustre --fsname=lustre --mgsnode=10.100.150.166@tcp0 --ost --index=4 /dev/sdb2
mkfs.lustre --fsname=lustre  --mgsnode=10.100.150.166@tcp0 --ost --index=5 /dev/sdb3

--index=0参数：同一个fsname中OST的--index参数值不能相同

挂载3个OST分区，写入/etc/rc.local开机脚本：

mount.lustre /dev/sdb1 /ost1
mount.lustre /dev/sdb2  /ost2
mount.lustre /dev/sdb3 /ost3

在Client服务器10.100.150.169上运行如下命令:

执行挂载命令并写入开机脚本/etc/rc.local:

mount.lustre 10.100.150.166@tcp0:/lustre /export/lustre

至此整个lustre集群已经安装完成，开关机顺序如下:

开机：MGS-->OSS-->Client

关机：Client-->OSS-->MGS