forcemax's

휴대전화정보(phone information) -> 

네트워크 서비스 제공자를 KT가 아닌 SKT로 잡았다가 다시 KT로 잡으면(혹은 반대)
SMSC 번호가 00으로 초기화되서 벌어지는 현상때문에 문자 전송 오류가 난다고 합니다.

출처. 뽐뿌 (http://www.ppomppu.co.kr/zboard/view.php?id=android&page=1&sn1=&divpage=13&sn=off&ss=on&sc=off&select_arrange=headnum&desc=asc&no=63343) 

 FolderPlus에서 사용된 주요 기술은 다음과 같습니다.

1. OpenAFS (대용량 지원을 위한 FileSystem)
http://www.openafs.org/

 Carnegie Mellon 대학에서 개발된 AFS(Andrew File System) 에서 부터 시작되었으며,  분산 컴퓨팅 환경을 위한 FileSystem입니다. 
 기본적으로 CS(Client-Server) 구조로 구성되며, File Server 를 관장하는 DB Server가 존재합니다. 이 구조를 FolderPlus에서 사용한 방식으로 예를 들어 설명하겠습니다.

(아쉽게도, 이미지 캡춰를 하면서 마우스 포인터가 들어갔네요;;)

 위 이미지는 FolderPlus의 CS(Client-Server) 구조를 매우 간략화한 구조도 입니다. 각 구성요소에 대해서 하나씩 설명하면 다음과 같습니다. (Client는 생략)

1. Upload Server : 파일 업로드에 사용

2. Download Server : 파일 다운로드에 사용

3. Folder Server : 파일 업로드/다운로드 외의 모든 작업에 사용

4. File Server : 실제 파일이 저장

5. DB Server : File Server에 대한 정보가 저장

- Client는 Server 1,2,3으로만 연결되며, Server 4,5로는 연결되지 않습니다.

 Upload/Download/Folder Server는 OpenAFS Client로 동작하며, File/DB Server는 OpenAFS Server로 동작합니다. 사용자가 연결하는 서버는 실제 파일이 존재하는 서버가 아니라 파일에 접근할 수 있는 OpenAFS Client인 것입니다.

  위의 구조가 보기에는 약간 복잡해 보이는데, 이는 OpenAFS가 가진 문제점 때문입니다. OpenAFS Client는 kernel level의 driver이기 때문에 문제가 발생하면 OS가 Kernel panic을 일으키며 정지하게 됩니다. 이는 전체 서비스에 영향을 줄 수 있기때문에, 하나의 서버에 장애가 발생하여도 서비스에 영향을 주지 않도록 하기 위해서 약간 복잡하기는 하지만 위와 같은 구성을 하게 되었습니다.

 OpenAFS가 위와 같은 문제점을 가지고 있긴 하지만, 이는 장점에 비하면 아주 간단한 문제입니다. 위에도 설명했지만 Uniform namespace를 사용한다는 것, 그리고 Quota 및 NSS(Name Service Switch)를 지원한다는 점입니다. 대용량 웹하드 서비스를 구성하기 위해서 가장 필요한 요소입니다.

1. Uniform namespace : 간단하게 설명하면, 모든 OpenAFS Client가 하나의 공간을 공유한다고 생각하면 됩니다. 동일한 공간을 보고있기 때문에 어느 서버에 요청을 하더라도 동일한 자원에 접근할 수 있다는 장점이 있습니다.
2. Quota 및 NSS 지원 : Quota는 간단하게 최대 디스크 사용량을 제한하는 기능입니다. POSIX 표준에도 있는 기능이니, 이 기능이 지원되면 사용자별 디스크 사용량 관리가 쉬워집니다. NSS는 사용자 인증, 즉 사용자별 Home Directory, ID, Password등의 인증 및 사용자 정보를 확인하고 받아올 수 있는 기능입니다. 이 역시 대부분의 UNIX 시스템에서 사용되고 있기 때문에, NSS가 지원되면 적은 노력으로 여러 시스템에서 운영할 수 서비스를 구축할 수 있습니다.

 위 이미지에서는 간략화되어 있지만, 실제 FolderPlus에서는 다음의 규모로 운영되었습니다.

- Upload Server : 약 20 ea

- Download Server : 약 100 ea

- Folder Server : 약 50 ea

- File Server : 약 300 ea

- DB Server : 약 10 ea

  하나의 C Class 대역에서 사용할 수 있는 서버의 대수를 넘어서기 때문에, 3개의 C Class 대역을 사용하였으며, 각 C Class 대역에 각 Server들이 고루 분배되어서 운영되었습니다.

 OpenAFS에 대해서 더 알고 싶으신 분은 다음 링크를 참고하세요.
http://www.ibm.com/developerworks/kr/library/os-openafs/index.html

2. UAS (자체 개발한 인증 시스템)
http://www.embian.com/Embian_eAccount.phtml

 UAS는 (주)엠비안에서 자체 제작한 인증 시스템입니다. 사용자 인증을 가장 빠르게 처리하기 위해서 개발되었으며, FolderPlus에서는 600만명의 사용자를 대상으로 사용되었던 경험이 있습니다. 위 링크는 UAS에 대한 설명은 아니지만, UAS의 전신인 Embian eAccount에 대한 설명이 있는 링크이니, 참고하시면 좋을 것이라 생각됩니다.

 UAS의 가장 큰 장점은 NSS를 사용한다는 것입니다. 위 OpenAFS에서도 설명되었지만 NSS를 지원하면 적은 노력으로 여러 시스템에서 운영할 수 있습니다. 즉, 플랫폼 독립적인 서비스를 구축할 수 있다는 것입니다.
 더불어 과거 (주)엠비안 기술연구소 소장으로 재직하였던, 전성진님의 기술이 녹아들어가서 상당히 빠른 응답을 동작속도가 보장됩니다.






== 작성중입니다. ==
== 문의사항 알려주시면 해당 부분에 대해서도 글에 포함하도록 하겠습니다. ==

0. prepare

1. x264 installation

2. ffmpeg installation

$ sudo apt-add-repository ppa:xorg-edgers/ppa
$ sudo apt-get update
$ sudo apt-get upgrade

$ sudo ppa-purge xorg-edgers

#!/bin/sh -e
### BEGIN INIT INFO
# Provides:          iptables
# Required-Start:    networking ifupdown $local_fs
# Required-Stop:
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
### END INIT INFO

IPTABLES=/sbin/iptables
EXT_ETH=eth0

${IPTABLES} -F
${IPTABLES} -t nat -F
${IPTABLES} -X BLACKLISTCHECK

${IPTABLES} -P INPUT ACCEPT
${IPTABLES} -P OUTPUT ACCEPT
${IPTABLES} -P FORWARD ACCEPT

${IPTABLES} -A INPUT -j ACCEPT -i lo
${IPTABLES} -A INPUT -j ACCEPT -p icmp --icmp-type any
${IPTABLES} -A INPUT -j ACCEPT -m state --state ESTABLISHED,RELATED

${IPTABLES} -N BLACKLISTCHECK
${IPTABLES} -A INPUT -j BLACKLISTCHECK -i ${EXT_ETH} -m state --state NEW -p tcp --dport 22

for x in `cat /tmp/ssh_evil`; do
${IPTABLES} -I BLACKLISTCHECK -s $x -j DROP
done

# 80, 22번 포트만 오픈
${IPTABLES} -A INPUT -j ACCEPT -i ${EXT_ETH} -m state --state NEW -p tcp --dport 22
${IPTABLES} -A INPUT -j ACCEPT -i ${EXT_ETH} -m state --state NEW -p tcp --dport 80

${IPTABLES} -I INPUT -p tcp --dport 22 -m state --state NEW -m recent --set
${IPTABLES} -I INPUT -p tcp --dport 22 -m state --state NEW -m recent --update --seconds 60 --hitcount 6 -j LOG --log-prefix "SSH_brute_force "

${IPTABLES} -A INPUT -j REJECT --reject-with icmp-host-prohibited

#!/bin/sh -e
### BEGIN INIT INFO
# Provides:          swatch
# Required-Start:    networking ifupdown $local_fs
# Required-Stop:
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
### END INIT INFO

PATH="/sbin:/bin:/usr/sbin:/usr/bin"
NAME="swatch"
DAEMON="/usr/bin/swatch"
DESC="simple watcher"
CONFFILE="/etc/swatch.conf"
#LOGFILE="/var/log/secure"
LOGFILE="/var/log/syslog"
PIDFILE="/var/run/swatch.pid"
OPTS="--config-file=$CONFFILE --tail-file=$LOGFILE --pid-file=$PIDFILE --awk-field-syntax --tail-args='-F' --daemon"

test -x $DAEMON || exit 0

start() {
    if [ ! -f "$CONFFILE" ]; then
        echo "Error: $CONFFILE does not exist."
        exit 1
    fi
    if [ ! -f "$LOGFILE" ]; then
        echo "Error: $LOGFILE does not exist."
        exit 1
    fi
    if [ -f "$PIDFILE" ]
    then
        echo "Error: $NAME is already running."
    else
        $DAEMON $OPTS >/dev/null 2>&1
    fi
}

stop() {
    if [ -f "$PIDFILE" ]
    then
        PID=`cat $PIDFILE`
        if ps h $PID > /dev/null
        then
            pkill -P $PID
            kill $PID
        else
            echo "Error: $NAME is not running, but PID file exists. Deleting it."
        fi
        rm -f $PIDFILE
    else
        echo "Error: $NAME is not running."
    fi
}

case "$1" in
  start)
    echo "Starting $DESC: $NAME"
    start
    ;;
  stop)
    echo "Stopping $DESC: $NAME"
    stop
    ;;
  restart)
    echo "Restarting $DESC: $NAME"
    stop
    sleep 1
    start
    ;;
  *)
    echo "Usage: $0 start|stop|restart"
    exit 1
    ;;
esac

exit 0

perlcode my $sshscript = '/root/swatch-ssh';
watchfor /([a-zA-Z]{3})\s+([0-9]{1,2}) ([0-9]{2}:[0-9]{2}:[0-9]{2}) ([a-zA-Z0-9_-]+) kernel: \[.*\] SSH_brute_force .*SRC=(.*) DST=/
        exec "$sshscript '$*' >> /var/log/swatch.log"
        throttle 00:00:30

#!/usr/bin/ruby1.8

if ARGV.length==0 && ARGV.length < 2
  puts "Error!! Argument must more than 1 words!!"
  puts "ex) swatch-ssh message"
  exit 1
else
  begin
    message = ""
    argv_msg = ARGV[0].split
    host = argv_msg[3]

    beginflag = false
    for qs in argv_msg do
      message = message + (message!=""?" ":"") + qs if beginflag == true
      beginflag = true if qs == host
    end

    # for 3ware modules message
    message.sub!(/kernel: \[[0-9\s]+\.[0-9]+\] /, '')
    message.sub!(/\(.*\)/, '')

    smsmessage = sprintf("[%s]%s\n", host, message)
#    smsmessage.gsub!(' ', '_')
    smsmessage.sub!(/\[mgm\]/, '')
    smsmessage.sub!(/SSH_brute_force .* SRC=/, '')
    smsmessage.sub!(/ DST=.*/, '')

    File.open("/tmp/ssh_deny", 'a') {|f| f.write(smsmessage) }
    command = sprintf("cat /tmp/ssh_evil /tmp/ssh_deny | sort -u > /tmp/ssh_uniq_evil ; rm /tmp/ssh_deny ; cp /tmp/ssh_uniq_evil /tmp/ssh_evil ; /etc/init.d/iptables")
#    printf("%s\n", command)
    system(command)
  end
end

exit 0

iptables -N BLACKLISTCHECK
touch /tmp/ssh_evil
update-rc.d iptables defaults 20
update-rc.d swatch defaults 20
/etc/init.d/iptables
/etc/init.d/swatch restart

dn: uid=ldapaddtest,ou=people,dc=domain,dc=com
uid: ldapaddtest
cn: ldapaddtest
objectClass: account
objectClass: posixAccount
objectClass: top
objectClass: shadowAccount
userPassword: e2NyeXB0fSQxJG4wOXM0N3FFJE9JUlI4R1pJNjduZ2Q3UXJ5VThPZDE=
loginShell: /bin/bash
uidNumber: 10067
gidNumber: 100
homeDirectory: /home/ldapaddtest

ldapadd -x -D "cn=admin,dc=domain,dc=com" -W -h localhost -f useradd.ldif

sudo aptitude install gq

openssl passwd -crypt 1234

ldapsearch -x -D "cn=admin,dc=domain,dc=com" -W -L "uid=ldapaddtest"