Установка Ceph с помощью ceph-deploy.

Пусть s0 - имя хоста, с которого выполняется развертывание, s1, s2, s3 - имена хостов, на которых планируется установка мониторов, s4, ..., sN - имена хостов, на которых планируется установка только OSD.
Между всеми хостами должен существовать беспарольный доступ по ssh.

1. Установить на s0 сeph-deploy для нужной версии Ceph.
   
2. Установить на s0 и s1...sN сервис синхронизации времени ntp, сделать s0 сервером и указать его на s1...sN как приоритетный для синхронизации
   
3. Создать директорию для файла конфигурации и ключей кластера ceph и переместиться в нее (из нее следует выполняит все действия с кластером)
   
4. Создать изначальную конфигурацию кластера и кластерное кольцо ключей - ceph-deploy new s1 s2 s3
   В появившемся файле конфигурации ceph.conf указать адрес публичной сети - добавить строку public_network = ADDRESS/MASK. Если адрес кластерной сети отличается от адреса публичной сети, то добавить также строку cluster_network = ADDRESS/MASK.
   
5. Установить пакеты Сeph - ceph-deploy --release VERSION_NAME install s1 s2 s3 ... sN
   
6. Поднять мониторы, на узлах, указанных в изначальной конфигурации (в данном случае s1, s2, s3) - ceph-deploy create-initial
   
7. Копировать файл кейринга для доступа к кластеру на узлы s1, s2, s3 - ceph-deploy admin s1 s2 s3
   

Далее для каждого узла sn, на котором собираемся поднимать osd (в данном примере диск для osd назовем /dev/sdb1):

8. ssh root@sn 'umount /dev/sdb1'
   

9. ceph-deploy disk prepare sn:/dev/sdb1
   

10. ceph-deploy disk activate sn:/dev/sdb1
    

11. Установить ceph на s0 - ceph-deploy install --release VERSION s0 - теперь s0 - клиент, с которого можно управлять кластером с помощью команды ceph.
    На некоторых узлах также можно поднять сервера метаданных для работы CephFS и rados gateways для работы в интерфейсе Amazon S3 (аналогично можно поднять и другие демоны Ceph):
    

ceph-deploy rgw create s1 s2 s3 

ceph-deploy mds create s1 s2 s3 

Установка средств тестирования:

1. sudo yum -y update
   
2. sudo yum -y install git
   
3. git clone https://github.com/ankan2013/ceph_benchmark
   
4. cd ceph_benchmark
   
5. sudo chmod +x benchmark.sh
   
6. Указать для переменной directory в benchmark_configs/fio_cephfs.ini адрес директории в примонтированной CephFS, в которой можно размещать файлы для тестов. Если CephFS не примонтирована, то можно создать внутри директории проекта новую директорию и примонтировать CephFS к ней:
   

 
mkdir cephfs_mountpoint 

sudo mount -t ceph mon1,mon2,mon3:/ cephfs_mountpoint/ (mon1, mon2, mon3, ... - адреса мониторов ceph) 

mkdir cephfs_mountpoint/files (и указать ее в fio_cephfs.ini) 

7. в benchmark_configs/miniowarp.cfg указать для соответствующих переменных access_key и secret_key для rgw, а также для переменной host адрес rgw и порт
   

Создать нового пользователя S3 можно с помощью команды radosgw-admin user create --uid={username} --display-name="{display-name}", после ее выполнения отобразятся данные по новому пользователю, включая нужные ключи.
в benchmark.sh можно закомментировать ненужные тесты (запуск тестов это последние 5 строк)

Запуск средств тестирования - sudo ./benchmark.sh

Результаты будут находиться в директории benchmark_results в корне проекта