성우님 블로그

glusterfs

git clone git://git.gluster.com/glusterfs.git

yum install gcc autoconf automake libtool flex openssl* bison

./autogen.sh

./configure

make

make install

mkdir /usr/local/include/glusterfs/

cp glusterfs/libglusterfs/src/*.h /usr/local/include/glusterfs/

cp glusterfs/config.h /usr/local/include/glusterfs/

cp glusterfs/contrib/uuid/uuid.h /usr/local/include/glusterfs/

 qemu

 yum install glib2-devel

 yum install libuuid-devel

 ./configure --disable-werror --target-list=x86_64-softmmu --enable-glusterfs --enable-uuid

 ./configure --disable-werror --target-list=x86_64-softmmu --enable-glusterfs

 GlusterFS support yes

 make

 make install

vim /etc/profile

export QEMU_HOME=/usr/local/qemu

export PATH=${QEMU_HOME}:${PATH}

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

source /etc/profile

ln -s ${QEMU_HOME}/bin/qemu-system-x86_64 /usr/bin/kvm

modprobe kvm

modprobe kvm_intel

qemu-system-x86_64 -enable-kvm -nographic -smp 4 -m 2048 -drive file=gluster://172.21.80.156/testVol/centos.raw,if=virtio,cache=none -vnc :5

돌아다니다가 외국에서 어떤 구루삘 나는 사람이 쓰길래...

일단 기록해놓음.

wget http://brick.kernel.dk/snaps/fio-2.0.10.tar.bz2

bzip2 -d fio-2.0.10.tar.bz2

tar xvf fio-2.0.10.tar

yum install libaio-devel

make && make install

vim random-read-test.fio

fio random-read-test.fio

https://www.linux.com/learn/tutorials/442451-inspecting-disk-io-performance-with-fio/

GlusterFS에서 Volume을 만들었다가 다른 Volume으로 이전 사용했던 Brick을 다시 사용하려고 할 경우,

${brick_path} or a prefix of it is already part of a volume

이와 같은 에러가 뜬다.

해결 방법은,

setfattr -x trusted.glusterfs.volume-id $brick_path
setfattr -x trusted.gfid $brick_path
rm -rf $brick_path/.glusterfs

자세한 내용은 아래 블로그를 참고.

http://joejulian.name/blog/glusterfs-path-or-a-prefix-of-it-is-already-part-of-a-volume/

[root@bharata ~]# qemu-img create gluster://bharata:0/test/F17-new?transport=socket 5G 

[root@bharata ~]# qemu-system-x86_64 --enable-kvm -m 1024 -smp 4 -drive file=gluster://bharata

출처 : http://www.gluster.org/2012/09/using-qemu-to-boot-vm-image-on-glusterfs-volume/

그 동안 Beta 였던 3.3 버전이 드디어 정식버전으로 릴리즈 되었다.

아래는 3.3 버전에서의 새로워 진 점이다.

Hadoop , Openstack의 Swift와 연동과 replicated+striped 볼륨 타입을 지원하는게 눈에 띈다.

GlusterFS의 Native Client(FUSE) 로 스토리지를 구성하여 VM을 생성하려 했으나,

아래처럼 Libvirt에서 실패...

Libvirt 로그

qemu: could not open disk image /mnt/gluster/test-vol2: Invalid argument

이유는, FUSE 모듈이 마운트된 FUSE기반 파일시스템상의 디스크 이미지를 열기 위한 O_DIRECT system call을 지원하지 않기 때문이다.

Gluster에서 fuse 모듈을 다운받고 compile / install을 하면 된다.

http://download.gluster.com/pub/gluster/glusterfs/LATEST/CentOS/

qemu-kvm은 raw 디스크 이미지를 열기 위해 O_SYNC (cache=writethough)을 사용할 것이다.  qcow2 이미지는 O_DIRECT (cache=none)을 사용한다.

http://thr3ads.net/gluster-users/2010/09/477455-Failed-on-booting-qcow2-image-files-on-glusterfs

libvirt disk option "cache=none" prevents VM from booting on GlusterFS/FUSE

"cache=none" 을 제거하라.

https://bugs.launchpad.net/nova/+bug/959637