Syslog-ng: Centos install syslog-ng server

Log | Apr 20, 2013

Environment: centos 5.9
server IP:
client IP:

Create dir and install pkgconfig

[root@server2 ~]$ mkdir -p /usr/local/src/tarbag/
[root@server2 ~]$ mkdir -p /usr/local/src/software/
[root@server2 ~]$ yum install pkgconfig

Check you system already install glib, if not install it.

Install glib

[root@server2 ~]$ cd /usr/local/src/tarbag 
[root@server2 tarbag]$ wget ftp://ftp.gtk.org/pub/glib/2.10/glib-2.10.1.tar.gz
[root@server2 tarbag]$ tar -zxvf glib-2.10.1.tar.gz -C ../software/ 
[root@server2 tarbag]$ cd ../software/glib-2.10.1/ 
[root@server2 glib-2.10.1]$ ./configure --prefix=/usr/local/glib && make && make install

Install eventlog

[root@server2 ~]$ cd /usr/local/src/tarbag/
[root@server2 tarbag]$ wget http://www.balabit.com/downloads/files/eventlog/0.2/eventlog_0.2.9.tar.gz
[root@server2 tarbag]$ tar -zxvf eventlog_0.2.9.tar.gz -C ../software/
[root@server2 tarbag]$ cd ../software/eventlog-0.2.9/
[root@server2 eventlog-0.2.9]$ ./configure  --prefix=/usr/local/eventlog && make && make install
[root@server2 eventlog-0.2.9]$ ls /usr/local/eventlog/
include   lib

Install libol

[root@server2 syslog-ng-3.0.5]$ cd /usr/local/src/tarbag
[root@server2 tarbag]$ wget http://www.balabit.com/downloads/files/libol/0.3/libol-0.3.9.tar.gz
[root@server2 tarbag]$ tar -zxvf libol-0.3.9.tar.gz -C ../software/
[root@server2 tarbag]$ cd ../software/libol-0.3.9/
[root@server2 libol-0.3.9]$ ./configure --prefix=/usr/local/libol &&make && make install
[root@server2 libol-0.3.9]$ ls /usr/local/libol/
bin   include   lib

Install syslog

[root@server2 tarbag]$ wget http://www.balabit.com/downloads/files/syslog-ng/sources/3.0.5/source/syslog-ng_3.0.5.tar.gz
[root@server2 tarbag]$ tar -zxvf syslog-ng_3.0.5.tar.gz -C ../software/
[root@server2 tarbag]$ cd ../software/syslog-ng-3.0.5/
[root@server2 syslog-ng-3.0.5]$ export LD_LIBRARY_PATH=/usr//local/glib/lib/
[root@server2 syslog-ng-3.0.5]$ export PKG_CONFIG_PATH=/usr/local/enventlog/lib/pkgconfig/:/usr/local/glib/lib/pkgconfig/
[root@server2 syslog-ng-3.0.5]$ ./configure  --prefix=/usr/local/syslog-ng --with-libol=/usr/local/libol &&  make && make install
[root@server2 syslog-ng-3.0.5]$ ls /usr/local/syslog-ng/
bin   libexec   sbin   share

[root@server2 syslog-ng-3.0.5]$ mkdir /usr/local/syslog-ng/etc
[root@server2 syslog-ng-3.0.5]$ mkdir /usr/local/syslog-ng/var
[root@server2 syslog-ng-3.0.5]$ cp contrib/syslog-ng.conf.RedHat  /usr/local/syslog-ng/etc/
[root@server2 syslog-ng-3.0.5]$ cp contrib/init.d.RedHat /etc/init.d/syslog-ng
[root@server2 syslog-ng-3.0.5]$ cd /usr/local/syslog-ng/etc/
[root@server2 etc]$ mv syslog-ng.conf.RedHat syslog-ng.conf

setting '/etc/init.d/syslog-ng'

[root@server2 etc]$ chmod +x /etc/init.d/syslog-ng 
[root@server2 etc]$ vim /etc/init.d/syslog-ng 
 #!/bin/bash
 #chkconfig: --add syslog-ng
 #chkconfig: 2345 12 88
 #Description: syslog-ng

 # Full path to daemon
 INIT_PROG="/usr/local/syslog-ng/sbin/syslog-ng"    
 # options passed to daemon
 INIT_OPTS="-f /usr/local/syslog-ng/etc/syslog-ng.conf"                      

 PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/syslog-ng/bin:/usr/local/syslog-ng/sbin

 INIT_NAME=`basename "$INIT_PROG"`

 # Source Redhat function library.
 #
 . /etc/rc.d/init.d/functions

 # Uncomment this if you are on Redhat and think this is useful
 #
 #. /etc/sysconfig/network
 #
 #if [ ${NETWORKING} = "no" ]
 #then
 #       exit 0
 #fi

 RETVAL=0

 umask 077
 ulimit -c 0

 # See how we were called.
 case "$1" in
   start)
 echo -n "Starting $INIT_NAME: "
 daemon --check $INIT_PROG "$INIT_PROG $INIT_OPTS"
 RETVAL=$?
 echo -n "Starting Kernel Logger: "
 [ -x "/sbin/klogd" ] && daemon klogd
 echo
 [ $RETVAL -eq 0 ] && touch "/var/lock/subsys/${INIT_NAME}"
 ;;
   stop)
 echo -n "Stopping $INIT_NAME: "
 killproc $INIT_PROG
 RETVAL=$?
 echo -n "Stopping Kernel Logger: "
 [ -x "/sbin/klogd" ] && killproc klogd
 echo
 [ $RETVAL -eq 0 ] && rm -f "/var/lock/subsys/${INIT_NAME}"
 ;;
   status)
 status $INIT_PROG
 RETVAL=$?
 ;;
   restart|reload)
 $0 stop
 $0 start
 RETVAL=$?
 ;;
   *)
 echo "Usage: $0 {start|stop|status|restart|reload}"
 exit 1
 esac
 exit $RETVAL


-- set eventlog lib ln -- 
[root@server2 etc]$ ln -s /usr/local/eventlog/lib/* /lib/  
[root@server2 etc]$ ln -s /usr/local/eventlog/lib/* /lib64/

setting '/usr/local/syslog-ng/etc/syslog-ng.conf'

@version:3.0
 options {
 long_hostnames(off);
 log_msg_size(8192);
 flush_lines(1);
 log_fifo_size(20480);
 time_reopen(10);
 use_dns(yes);
 dns_cache(yes);
 use_fqdn(yes);
 keep_hostname(yes);
 chain_hostnames(no);
 perm(0644);
 stats_freq(43200);
 };
 source s_internal { internal(); };
 destination d_syslognglog { file("/var/log/syslog-ng.log"); };
 log { source(s_internal); destination(d_syslognglog); };

 source s_local {
 unix-dgram("/dev/log");
 file("/proc/kmsg" program_override("kernel:"));
 };

 filter f_messages { level(info..emerg); };
 filter f_secure   { facility(authpriv); };
 filter f_mail     { facility(mail); };
 filter f_cron     { facility(cron); };
 filter f_emerg    { level(emerg); };
 filter f_spooler  { level(crit..emerg) and facility(uucp, news); };
 filter f_local7   { facility(local7); };

 destination d_messages { file("/var/log/messages"); };
 destination d_secure   { file("/var/log/secure"); };
 destination d_maillog  { file("/var/log/maillog"); };
 destination d_cron     { file("/var/log/cron"); };
 destination d_console  { usertty("root"); };
 destination d_spooler  { file("/var/log/spooler"); };
 destination d_bootlog  { file("/var/log/demsg"); };

 log {source(s_local); filter(f_emerg);  destination(d_console); };
 log {source(s_local); filter(f_secure); destination(d_secure); flags(final); };
 log {source(s_local); filter(f_mail);   destination(d_maillog); flags(final); };
 log {source(s_local); filter(f_cron);   destination(d_cron); flags(final); };
 log {source(s_local); filter(f_spooler); destination(d_spooler); };
 log {source(s_local); filter(f_local7); destination(d_bootlog); };
 log {source(s_local); filter(f_messages); destination(d_messages); };

 source s_remote {
 tcp(ip(0.0.0.0) port(514));
 udp(ip(0.0.0.0) port(514));
 };

 destination r_console {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/console" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 destination r_secure {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/secure" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 destination r_cron {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/cron" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 destination r_spooler {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/spooler" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 destination r_bootlog {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/bootlog" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 destination r_messages {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };

 log { source(s_remote); filter(f_emerg); destination(r_console); };
 log { source(s_remote); filter(f_secure); destination(r_secure); flags(final); };
 log { source(s_remote); filter(f_cron); destination(r_cron); flags(final); };
 log { source(s_remote); filter(f_spooler); destination(r_spooler); };
 log { source(s_remote); filter(f_local7); destination(r_bootlog); };
 log { source(s_remote); filter(f_messages); destination(r_messages); };

start syslong-ng

[root@server2 ~]$ /etc/init.d/syslog-ng start
Starting KernelLogger:                                    [   OK   ]

[root@server2 etc]$ cat /var/log/syslog-ng.log 
Oct 15 11:29:47 localhost.localdomain syslog-ng[28022]: syslog-ng starting up; version='3.0.5'

Ref.

http://hi.baidu.com/qingchunranzhi/item/a7d1ab98371a31b5cc80e57b
http://wenku.baidu.com/view/c3bb49c58bd63186bcebbc7a.html
http://blog.csdn.net/mandyliu301/article/details/8349239
http://blog.csdn.net/xiangliangyu2008/article/details/8072392
http://blog.sina.com.cn/s/blog_4a071ed80100cssu.html

Kernel-based Virtual Machine

Visualization | Apr 10, 2013

Introduction

KVM( 全名為 Kernel-based Virtual Machine )，自 2006 年 12 月起，就屬於 Linux 核心架構下的一部分，簡單來說，就是以後 Linux 系統核心，就具備支援虛擬化的功能，並且是以核心模組化的方式載入執行，只要硬體搭配得宜（此指 CPU 支援虛擬化技術，也就是 lntel VT 或 AMD-V ），再安裝 KVM 這一套虛擬系統，就可以直接在現有的 Linux 系統架構之下，建構裸機式（Bare-Metal ）虛擬系統平台。

Install KVM on Ubuntu-12.04

1.先檢查你的 CPU 是否支援虛擬化

[root@ubuntu]$  egrep -c '(vmx|svm)' /proc/cpuinfo
#大於 0 的話代表支援

2.檢查主機是否支援 KVM

[root@ubuntu]$ apt-get install cpu-checker
[root@ubuntu]$ kvm-ok 
INFO: /dev/kvm does not exist
HINT:   sudo modprobe kvm_intel
INFO: Your CPU supports KVM extensions # 有看到這行表示OK

KVM acceleration can be used

3.開始安裝

[root@ubuntu]$ apt-get install virtinst
[root@ubuntu]$ apt-get install ubuntu-vm-builder
[root@ubuntu]$ apt-get install virt-viewer
[root@ubuntu]$ apt-get install qemu-kvm libvrit-bin
[root@ubuntu]$ apt-get install bridge-utils  #bridge model

[root@ubuntu]$ apt-get install libcap2-bin
[root@ubuntu]$ apt-get install virt-manager  #圖型化 vm 管理介面

[root@ubuntu]$ setcap cap_net_admin=ei /usr/bin/qemu-system-x86_64

KVM 目前有三套好用的管理工具

virt-manager :一個圖形介面的管理工具，可以安裝在有 X window 的 linux 機器上。
virt-install: 一個用 python 撰寫的文字介面管理工具，Red Hat 開發。
ubuntu-vm-builder:文字介面管理工具，Canonical 開發。

Virt-manager

全名為 Virtual Machine Manager，可以在 x window 的環境中，操控 VM 一開始，要把你所登入的使用者，加入 libvirtd 的 group 裡面這樣，你所登入的使用者，才有權限操作 Virtual Machine Manager 例如我想要讓 mrblack 有操作 Virtual Machine Manager 的權限

[root@ubuntu]$ adduser mrblack libvirtd
[root@ubuntu]$ /etc/init.d/libvirt-bin reload   #重新載入設定

就可以利用 virt-manager 來管理 VM

Virsh 文字管理工具

virsh 是一套用於虛擬化管理的工具，本身是由 libvirt 實作而來。是一種跨平台(支援 XEN、KVM 等虛擬化系統)的虛擬化管理 API。關於它的操作，可以看 libvirt 官網有詳細的介紹。

Ref.

System Log

Log | Nov 25, 2011

syslog 簡介

在 linux 的執行的背景中，有相當多的 daemon 在同時執行著

一些重要的服務萬一爛掉?或者想要知道 who? where? when? do what? 在使用這個 service

就是將這些重要的資訊記錄下來，讓系統的管理者可以更容易、清楚的控管自己的系統

而這些 syslog 產生的方式分有兩種

由軟體開發商自行定義寫入的 syslog 與相關格式，例如 apache 等等..

由 linux 提供的 syslog 服務統一管理，只要將這個訊息丟給這個服務後

它會自行幫你寫入到你指定的地方，而 CentOS 提供 syslogd 這個服務來統一管理

而除了 syslog 外，核心也利用 klogd 這個服務來記錄，也就是說登錄檔所需要服務主要就是 syslogd 與 klogd

也因為服務很多，所以 log 的數量、容量是很驚人的，

Linux提供 logrotate (登錄檔輪替) 來自動化處理 log 的容量更新的問題

syslog 的設定檔 /etc/syslog.conf

syslogd 是負責產生各個 service 的 log，而這些 log 是有「嚴重等級」之分的

but…這些 log 最終要送去哪，就是靠 syslogd 這個 syslog.conf 來設定

像是 sendmail 這個 daemon 就是委託 syslogd 來記錄它程式的 log

安全性設置

可以利用 chattr、lsattr[2] 來設定 syslog 只能寫，不能改

以防止一些惡意的修改

這個需要注意的是因為設定成只能寫，不能改、刪

所以系統在做 logrotate 的時候也不行= =

三思而後行…

$ chattr +a /var/log/messages
$ lsattr /var/log/messages
  —–a——- /var/log/messages

利用下列的指令來取消

$ chattr -a /var/log/messages

syslog server client set

重頭戲就是這個啦!!!

一開始就是想要利用這種方式，把所有的 log 集中在一台 server

然後可以利用一些軟體如 graylog2 ，或是自己寫的分析系統來分析多台 server 的 log

在 server 的部分需要將 udp 的 port 514 打開監聽(設定檔、iptables)

# /etc/sysconfig/iptables

# 加入以下這行，對 port 514 放行  
  -A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 514 -j ACCEPT

# /etc/sysconfig/syslog

# 修改這行~  
  SYSLOGD_OPTIONS="-m 0 -r"

然後再將 syslog 重啟， server 的部分就差不多囉~

再來是 client，設定剛剛說的 /etc/syslog.conf 檔案

# /etc/syslog.conf

# 加入以下這行，將所有的 service log 傳送到 你的 server IP  
*.* @your server ip

設定 apache log 導入 syslog server

就如同剛剛說的

apache 需要自己設定 log 的存法[3]

# /etc/httpd/conf/httpd.conf

# error log 的部分就是這樣修改，將 apache 的 log 委託給 syslogd 處理  
# 然後 syslogd 又會將這個 log 導入到剛剛的 syslog server~~  
ErrorLog syslog  

# access 的 log 就是這樣設定，觀念跟剛剛是一樣的  
CustomLog |/usr/local/apache/bin/apache_syslog combined

Ref.

1.鳥哥的私房菜 – syslog 2.鳥哥的私房菜 – chattr、lsattr 3.Apache log 設定方法

F5 iRule log

Log | Nov 19, 2011

前言

這跟最近在做的 log 分析也有關係因為我們實驗室所管理的系統(ep, cls…)都是經由 F5[1] 來做管理 F5 不是戰鬥機..而是 F5 Network 公司，他們公司是做服務器負載平衡的設備同時也被稱為，本地流量管理器，「聽說」可以做 4-7 層的 Load Balance 他提供的一些服務有 Load Balance、application switch、狀態監控、智能 IP 轉換高級路由、SSL 加速、智能 HTTP 壓縮、TCP 優化等等等等等 [2] 為什麼可以這麼神奇的提供這麼多功能? 因為……它很貴!!!!!!!

所謂的 iRule，就是要用 TCL[3] 這種腳本語言所編寫的它可以讓你選擇在想要的「時機」有如空中抓小鳥般的，攔截處理 HTTP、SERVER 連線的請求而 F5 它提供了強大的函式庫可以很容易的取得 URI::protoclo、URI::path、HTTP:method 等等這種資訊他編寫的格式大概是這樣

  when EVENT_NAME options{
    body
  }

when 是用來定義一種特色的狀態發生例如 HTTPREQUEST、SERVERCONNECTED 等等 EVENT NAME 可以在 iRule 的事件參考文件中找到還有所謂的 priority ，優先等級其實當 iRule 在裝載到一個指定的 Virtual Server 中系統端存儲一個事件的名稱還有優先等級(預設500，範圍為0~1000) 而當一個特色的情況觸發以後，系統會按優先等級行低到歸的傳送控制權如果優先等級相同的話，會按照他們插入表格的順序來執行簡單的 HTTP 的 EVEN_NAME 介紹

HTTP_REQUEST
#系統完全解析 client 的 request 時 觸發，這裡所說的 header 是 method、URI，不包含本文

HTTP_REQUEST_DATA
#請求接收到新的 HTTP 內容數據時觸發

HTTP_RESPONSE
#系統解析 SERVER 回應中的所有回應狀態和標頭時觸發

HTTP_RESPONSE_DATA
#系統從回應中接收到新的 HTTP 內容時觸發

HTTP_RESPONSE_CONTINUE
#系統從 Sserver 接收到 100 Continue 回應時觸發

於是後來我參考了網路的資料就這樣寫我的 iRule

  #HTTP log
  when HTTP_REQUEST {
    set url [HTTP::host][HTTP::uri]
    set vip [IP::local_addr]:[TCP::local_port]
    set path [HTTP::path]
    set request [HTTP::request]
    set method [HTTP::method]
  }

  when HTTP_RESPONSE {
    set client [IP::client_addr]:[TCP::client_port]
    set node [IP::server_addr]:[TCP::server_port]
    set nodeResp [HTTP::status]
    log LogServerIP local0.info "Client: $client ->; VIP:$vip,$url ->; Node: $node with response $nodeResp, Method:$method, Path:$path, Request:$request"
  }

  #TCP log
  when CLIENT_ACCEPTED {
    set vip [IP::local_addr]:[TCP::local_port]
  }

  when SERVER_CONNECTED {
    set client "[IP::client_addr]:[TCP::client_port]"
    set node "[IP::server_addr]:[TCP::server_port]"
  }

  when CLIENT_CLOSED {
    log LogServerIP local0.info "Client $client ->; VIP: $vip ->; Node: $node"
  }

HTTP:uri 是這樣的

例如 client request 的網址是 http://www.example.com:8080/main/index.jsp?user=test&login=check

那它的 HTTP:uri 就是 /main/index.jsp?user=test&login=check

IP::local_addr 就是那台 F5 的 IP

IP::server_addr 就是那台 vm 的 ip 囉~

Ref.

Older Newer

Levi's Blog

Syslog-ng: Centos install syslog-ng server

Create dir and install pkgconfig

Install glib

Install eventlog

Install libol

Install syslog

setting '/etc/init.d/syslog-ng'

setting '/usr/local/syslog-ng/etc/syslog-ng.conf'

start syslong-ng

Ref.

Kernel-based Virtual Machine

Introduction

Install KVM on Ubuntu-12.04

KVM 目前有三套好用的管理工具

Virt-manager

Virsh 文字管理工具

Ref.

System Log

syslog 簡介

syslog 的設定檔 /etc/syslog.conf

安全性設置

syslog server client set

設定 apache log 導入 syslog server

Ref.

F5 iRule log

前言

Ref.