기존에 CentOS에서 piranha-gui를 이용해서 Linux Virtual Server를 구축했었는데, 영 감이 안와서... 검색해서 ipvsadm으로 Virtual Server를 구축했다.

다음의 IP로 가상 서버를 구축한다고 가정한다.
Virutal IP : 192.168.1.10
Real IP : 192.168.1.20
Real IP : 192.168.1.21


일단은, 방금 구축한 경험으로 봤을 때 2대의 실 서버를 로드밸런싱하려면 ipvsadm을 동작시킬 서버까지 포함해서 3대가 있어야 될것 같다.(direct routing 방법 사용시)

Virtual Server
일단은 ipvsadm을 설치한다. 나의 경우는 yum을 이용해서 패키지 설치를 했다.
# yum install ipvsadm
# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
#

요렇게 해서 나오면 정상.

이제 가상 IP를 설정한다. 네트워크 디바이스가 eth0으로 할당되어 있다고할 때, eth0:1의 이름으로 가상 디바이스를 생성한다.
# ifconfig eth0:1 192.168.1.10 netmask 255.255.255.0 up
# ifconfig

이렇게 하면 eth0:1의 이름으로 네트워크 디바이스가 생성되어 있을 것이다. 재부팅되었을 때 자동적으로 올라오게 하기 위해서 다음의 파일을 생성한다.
# vi /etc/sysconfig/network-scripts/ifcfg-eth0:1
DEVICE=eth0:1
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.10
NETMASK=255.255.255.0


Virtual Server에서는 가상 IP로 접속되는 연결을 실제 서버로 연결해야 하기 때문에 ip_forward 옵션이 활성화 되어 있어야 한다.
수정할 파일 : /etc/sysctl.conf
net.ipv4.ip_forward=1 로 변경한다.
# sysctl -p
혹은
# sysctl -w net.ipv4.ip_forward=1


이제 ipvsadm에 새로운 서비스를 추가한다.
# ipvsadm -A -t 192.168.1.10:80 -s wlc

옵션에 대한 자세한 사항은 ipvsadm --help 명령으로 확인하기 바란다.
위 옵션은 다음의 의미를 갖는다.
-A : 새로운 서비스 추가
-t : tcp 서비스
-s : scheduling. Weighted Least Connection

이제 서비스를 제공하는 실제 서버에 대한 세팅을 수행한다.
필요한 패키지로는 arptables_jf가 있다. 역시 yum으로 설치한다.
# yum install arptables_jf

arptables_jf 패키지를 설치하는 이유는 다음과 같다고 한다(나도 검색해서 찾았음).
Real Server에도 Virtual IP를 설정해 주어야 하는데, 이렇게 되는 경우 클라인트가 가상 IP를 요청했을 때 동일 네트워크에 Virtual IP를 2개 이상 갖고 있기 때문에 경우에 따라서 Real Server에서 응답을 주는 경우가 있다고 한다. 이렇게 되면 로드밸런싱이 되지 않기 때문에 arptables_jf를 이용해서 응답하지 않도록 해줘야 한다.
arptables_jf 설정을 수행한다.
# arptables -A IN -d <virtual_ip> -j DROP
# arptables -A OUT -d <virtual_ip> -j mangle --mangle-ip-s <real_ip>
# service arptables_jf save
# chkconfig arptables_if on

즉, 192.168.1.20에 해당하는 Real Server를 설정한다면,
# arptables -A IN -d 192.168.1.10 -j DROP
# arptables -A OUT -d 192.168.1.10 -j mangle --mangle-ip-s 192.168.1.20

이 된다.

이제, 네트워크 디바이스를 추가한다.
# ifconfig eth0:1 192.168.1.10 netmask 255.255.255.0

이 설정도 부팅시 자동으로 디바이스가 추가되도록 /etc/sysconfig/network-scripts에 파일을 생성한다.
파일 내용은 이미 기록했기때문에 생략한다.

여기가지 설정이 완료되면, 이제 ipvsadm에 real server를 추가해준다.
Virtual Server에서
# ipvsadm -a -t 192.168.1.10:80 -r 192.168.1.20 -g

여기서 -g 옵션은 direct routing으로 추가하겠다는 의미임.

나머지 Real Server도 동일한 작업을 수행한 뒤 마지막으로 ipvsadm 설정을 저장하고, 서비스를 활성화 시켜준다.

# service ipvsadm save
# chkconfig ipvsadm on


이상이다. 근데 꼭 뭘 빼먹은 것 같은 이 기분은 뭘까...
신고
Posted by 봉보리봉봉
Redhat Linux의 Virtual Server 사용을 하고 있는데, 한가지 문제점이 있다.
Tomcat 환경에서 동작하는 JSP 페이지에서 중간 내용까지 출력 후 버퍼를 flush하는 경우, 버퍼의 내용이 전송되어 클라이언트에 보내지고, 그 부분까지 렌더링이 되어야 하는데(렌더링은 브라우저마다 약간의 차이가 있다. IE/FF의 경우 잘 동작하지만, 크롬에서는 잘 안되는 듯) 웹서버에 직접 접근하여 결과를 보는 경우에는 의도한 대로 동작하지만, Virtual Server를 통해 가상 IP로 접속하는 경우 의도대로 동작되지 않는다.

구성은 LVS 세팅에서 Network 타입은 Direct Routing으로 설정되어 있으며, Real Server는 2개의 노드로 되어 있다.

매뉴얼을 찾아보고, 구글링을 해봐도 Virtual Server에서의 패킷 flush 옵션을 찾을 수 없었으며 결국 LVS 사용을 일단 포기한 상태 ㅠㅠ


버퍼 flush의 경우, 민감하게 생각되지 않을 수 있지만 가능한 부분까지 먼저 출력해줘야 사용자 입장에서는 웹 서비스가 동작하고 있다는 것을 느낄 수 있기에 그냥 넘어갈 수 없는 부분이다.

혹시, 누가 이 문제에 대한 해결책을 줄 수 없을까? ㅠㅠ

관련 포스트 : Apache + Tomcat + mod_jk 연동시 flush 문제

흑... 이 문제가 아닌가보다... Apache 문제인듯 한데... 뭔지 잘 모르겠다 ㅠ.ㅠ
신고
Posted by 봉보리봉봉
Manual에 나와 있는대로 Direct Routing 방식으로 LVS를 구축하는 경우
각 Real Server에 아래의 설정을 추가해야 함.

이것이 원인이었는지 모르겠지만, 이 설정을 하기 전에는 한번 연결된 IP에서는 정상적으로 가상 IP에 연결이 되지만, 다른 IP를 가지고 연결하는 경우 연결이 지연되서 초기 실패하는 경우가 발생하였음

/etc/sysctl.conf에 net.ipv4.ip_forward = 0 부분을 1로 변경하여야 하며

#for ipvs

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

#end of ipvs

#for ipvs ~ #end of ipvs 부분을 추가한후

shell>sysctl -p

커널파라미터 적용

신고
Posted by 봉보리봉봉
이전버튼 1 이전버튼

블로그 이미지
봉보리봉봉

공지사항

Yesterday33
Today6
Total131,869

티스토리 툴바