GEOIP data 파일 업데이트

아래 스크립트는 배포 url 이 변경되어 동작 되지 않아요.

새로운 업데이트 방법 관련 글 : GEOIP database 파일 업데이트

GeoIP.dat 파일을 배포하는 maxmind (https://www.maxmind.com/) 사에서 레거시 파일 형태인 GeoIP.dat 파일을 2019-01-02 일로 부터 배포를 중단하였다.

기존에 apache 혹은 nginx 그리고 iptables 등에서 사용중인 국가별 구분 및 제한을 을 지속적으로 사용 하기 위해서는

GeoIP의 지속적인 업데이트가 필요로 한다.

– 주기적으로 ip는 로테이션이 되기 때문에 dat 파일이 갱신되지 않은채 1년 정도가 지나면 신뢰도가 떨어진다.

다만 과거 형태 .dat 파일만 배포 중단이며 .mmdb 및 .csv 형태의 배포는 지속되고 있다.

때문에 배포되는 csv 파일을 이용 하여 dat 파일을 직접 생성해 주는 방향으로 진행할 수 있다.

이미 github 에서 csv를 이용한 dat 파일을 만드는 게 몇몇 올라와 있다. 이중 https://github.com/sherpya/geolite2legacy 을 이용하여 생성할 수 있는 스크립트를 작성 하였다 ‘ㅅ’a

#!/bin/bash

### config - DISABLE city it'll be need free memory 2GB

REPLACEDATA="30"

CITYDATA="N"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

if [[ -z $(which pip) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

if [[ -z $(pip list|grep pygeoip) ]];then sudo pip install pygeoip > /dev/null 2>&1 ;fi

if [[ -z $(pip list|grep ipaddr) ]];then sudo pip install ipaddr > /dev/null 2>&1 ;fi

### link path

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

if [[ ! -d $GEOIPDIR ]];then

mkdir -p $GEOIPDIR

for a in $DATALINK

if [[ ! -d $a ]];then if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files

if [ -d $GEOIPDIR/geolite2legacy ];then cd $GEOIPDIR/geolite2legacy

COUNTRY="GeoLite2-Country-CSV.zip"

CITY="GeoLite2-City-CSV.zip"

if [[ -z $(find $GEOIPDIR/geolite2legacy -maxdepth 1 $ -name $COUNTRY -o -name $CITY $ -mtime +$REPLACEDATA) ]];then

rm -f $COUNTRY $CITY

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country-CSV.zip" > /dev/null 2>&1

if [[ $CITYDATA == "Y" ]];then

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip" > /dev/null 2>&1

if [ -e $GEOIPDIR/geolite2legacy/$COUNTRY ];then

python geolite2legacy.py --input-file $COUNTRY --fips-file geoname2fips.csv --output-file GeoIP.dat

python geolite2legacy.py --input-file $COUNTRY -6 --fips-file geoname2fips.csv --output-file GeoIPv6.dat

if [[ $CITYDATA == "Y" ]];then

python geolite2legacy.py --input-file $CITY --fips-file geoname2fips.csv --output-file GeoLiteCity.dat

python geolite2legacy.py --input-file $CITY -6 --fips-file geoname2fips.csv --output-file GeoLiteCityv6.dat

if [ -e GeoIP.dat ];then

find $GEOIPDIR -maxdepth 1 -name "*.dat" -mtime +$REPLACEDATA -exec rm -f {} \;

if [[ $CITYDATA == "Y" ]];then

mv -f Geo{IP,IPv6,LiteCity,LiteCityv6}.dat $GEOIPDIR/ > /dev/null 2>&1

else

mv -f Geo{IP,IPv6}.dat $GEOIPDIR/ > /dev/null 2>&1

fi;fi;fi

unset GEOIPDIR DATALINK CITY COUNTRY CITYDATA REPLACEDATA

exit 0

GeoLiteCity.dat 는 최상단의 config CITYDATA 를 Y 로 지정하면 생성한다. (일반적으로 불필요 하며, 생성시 2GB 이상의 메모리를 사용 한다.)

cron 등록은 /etc/cron.daily/ 혹은 /etc/cron.weekly/ 에 파일을 만들어 두면 anacron 이 알아서 주 or 일에 돌려주겠지요..

bash 스크립트의 실행 속도(간격) 한계

bash 로 작성된 스크립트의 경우 anacron 혹은 crond 에 의존하여 작동을 한다.

# Example of job definition:

# .---------------- minute (0 - 59)

# | .------------- hour (0 - 23)

# | | .---------- day of month (1 - 31)

# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...

# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

# | | | | |

# * * * * * user-name command to be executed

때문에 지정 할 수 있는 최소 시간은 1분이다.

즉 1분에 1회만 실행이 가능하다.

필요에 따라 5초 혹은 10초 단위 마다 재 실행 이 가능한 경우가 발생했다. (push 메세지 전송이라든가..)

이 한계를 넘기 위해 아래와 같이 작성하여 지정된 $TERM 동안 sleep 을 하고 excute-job 펑션을 재실행 하도록 작성 한다.

#!/bin/bash

### shell overlab avoid (중복실행방지)

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

fi;fi

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### CONFIG (1분안에 재 실행 횟수 지정) ### set 1 ~ 6

RETRY_A_MIN=6

### FUNCTION (실제 실행할 프로세스)

excute-job() {

echo -ne "\r$(date)"

}

### LOOP a MINUTE (간격 설정값에 따른 반복 실행)

if [ $RETRY_A_MIN -eq 1 ];then TERM=51

elif [ $RETRY_A_MIN -eq 2 ];then TERM=26

elif [ $RETRY_A_MIN -eq 3 ];then TERM=17

elif [ $RETRY_A_MIN -eq 4 ];then TERM=13

elif [ $RETRY_A_MIN -eq 5 ];then TERM=11

else TERM=9;fi

SHNOW=$(date +"%s")

SHLIMIT=$(date +"%s" -d "50 secs")

while [ $SHNOW -lt $SHLIMIT ]

((RETRY_A_MIN--))

excute-job;

if [ $RETRY_A_MIN -eq 0 ];then

break 1

else

sleep $TERM

SHNOW=$(date +"%s")

done

echo

unset SHNOW SHLIMIT

exit 0

1~6 값을 지정함에 따라 알맞은 $TERM을 sleep 하고 재 실행 하게 된다.

TLS 1.3 활성화 (apache, nginx)

RFC 8446 이 발표 되고 TLS 1.3 의 표준이 제정 되었다. (https://tools.ietf.org/html/rfc8446)

아래의 조건을 만족하는 경우 TLS v1.3 를 사용할 수 있다.

openssl 1.1.1 이상 / nginx 1.13.0 이상 / apache 2.4.37 이상

openssl 이 웹서버 데몬(apache,nginx) 에 의존성이 있으므로 openssl 을 업데이트 하고 웹서버를 재설치 해야 하는 경우가 발생할 수 있다.

nginx.conf 에서의 SSL 관련 설정 방법

ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;

ssl_ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS;

ssl_ecdh_curve secp384r1;

ssl_prefer_server_ciphers on;

apache 의 SSL 설정 방법

1 2	SSLProtocol ALL -SSLv2 -SSLv3 SSLCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"

브라우저 호환성 (https://caniuse.com/#feat=tls1-3)

TLS v1.3 이 나왔다고 TLS v1.2 끌 경우 많은 브라우져가 접속하지 못한다.

현재 TLS v.1.3을 지원하는 브라우져는 FireFox, Chrome, Safari, Opera, IOS Safari, Chrome for Android, FireFox for Android 정도 이다.

AWS 인스턴스 시작, 중지 스크립트

aws cli 명령어를 이용하여 ec2 서버를 껏다 켰다 하는 스크립트 이다.

일반 환경에서는 불필요 하고 개발 환경의 서버를 24/7 을 켜둘 이유가 없다.

개발자의 개발 환경을 고려하여 월~금 사이 AM 8:50 ~ PM 18:30 까지 만 사용 한다면 1일에 10시간만 사용함으로서 청구금액을 낮출 수 있다.

t3.medium ( 2 Core / 4G-RAM ) = 시간당 US$ 0.0416

0.0416 * 24 * 365 = $364

0.0416 * 10 * (365 / 7 * 5) = $108

* 예약 인스턴스 (Reserved instances) 를 사용한다면 더 낮출 수 있다.(30% ~ 63%) *

그래서 상시 떠있어야 하는 product 레벨의 서버 라든가 syslog 서버 등에서 아래와 같이 스크립트를 작성 하고 운영 하여 절감을 한다.

서버가 UTC 으로 세팅 되어 있는 서버 이기 때문에 cron 등록은 아래와 같이 진행하였다.

(cron : 50 23 * * 0-4 bash /shell/aws-start-instance.sh ) 월~금 KST AM 08:50 분에 작동

(cron : 30 09 * * * bash /shell/aws-start-instance.sh ) 매일 KST PM 18:30에 작동

인스턴스 자동 시작 스크립트 ( /shell/aws-start-instance.sh )

#!/bin/bash

##################################################################################

# - script dependency awscli. (~]# pip install awscli)

# by Enteroa ( enteroa.j@gmail.com )

##################################################################################

export AWS_ACCESS_KEY_ID=AAAAAAAAAAAAAAAAAAAA

export AWS_SECRET_ACCESS_KEY=BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB

AWSCLI=$(which aws)

AWS_INSTANCES=(

ap-northeast-2:i-xxxxxxxxxxxxxxxxx

ap-northeast-2:i-88888888888888888

)

## instance status : stopped -> pending -> running

instance_start() {

until [[ $INSTANCE_CHECK == "running" ]]

INSTANCE_CHECK=$($AWSCLI ec2 describe-instances --region $REGION --instance-ids $INSTANCE --output text \

--query "Reservations[*].Instances[*].[State.Name]")

if [[ $INSTANCE_CHECK == "stopped" ]];then

$AWSCLI ec2 start-instances --region $REGION --instance-ids $INSTANCE

sleep 5

elif [[ $INSTANCE_CHECK == "pending" ]];then

sleep 10

elif [[ -z $INSTANCE_CHECK ]];then

break 1;

((COUNT_LOOP++))

if [ $COUNT_LOOP -ge 360 ];then

break 1;

done

unset INSTANCE_CHECK COUNT_LOOP

}

for a in ${AWS_INSTANCES[*]}

REGION=$(echo $a|cut -d":" -f1)

INSTANCE=$(echo $a|cut -d":" -f2)

instance_start;

unset REGION INSTANCE

done

unset AWS_INSTANCES AWSCLI AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY

exit 0

인스턴스 자동 정지 스크립트 ( /shell/aws-start-instance.sh )

#!/bin/bash

##################################################################################

# - script dependency awscli. (~]# pip install awscli)

# by Enteroa ( enteroa.j@gmail.com )

##################################################################################

export AWS_ACCESS_KEY_ID=AAAAAAAAAAAAAAAAAAAA

export AWS_SECRET_ACCESS_KEY=BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB

AWSCLI=$(which aws)

AWS_INSTANCES=(

ap-northeast-2:i-xxxxxxxxxxxxxxxxx

ap-northeast-2:i-88888888888888888

)

## instance status : running -> stopping -> stopped

instance_stop() {

until [[ $INSTANCE_CHECK == "stopped" ]]

INSTANCE_CHECK=$($AWSCLI ec2 describe-instances --region $REGION --instance-ids $INSTANCE --output text \

--query "Reservations[*].Instances[*].[State.Name]")

if [[ $INSTANCE_CHECK == "running" ]];then

$AWSCLI ec2 stop-instances --region $REGION --instance-ids $INSTANCE

sleep 5

elif [[ $INSTANCE_CHECK == "stopping" ]];then

sleep 10

elif [[ -z $INSTANCE_CHECK ]];then

break 1;

((COUNT_LOOP++))

if [ $COUNT_LOOP -ge 360 ];then

break 1;

done

unset INSTANCE_CHECK COUNT_LOOP

}

for a in ${AWS_INSTANCES[*]}

REGION=$(echo $a|cut -d":" -f1)

INSTANCE=$(echo $a|cut -d":" -f2)

instance_stop;

unset REGION INSTANCE

done

unset AWS_INSTANCES AWSCLI AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY

exit 0

AWS 의 EBS 스냅샷

현재는 EC2의 Lifecycle manager 의 등장으로 인해 오래된 snap-shot 의 삭제가 자동으로 이루어 지기 때문에 크게 필요가 없는 스크립트 이다.

물론 Lifecycle manager 에 비해 기능이 좀더 많다.

AWSCLI 를 사용하기 때문에 설치가 필요로 하다 ‘ㅅ’a

기능적으로는 아래와 같다.

1. AWS_REGION_ARR 에 선언된 리전을 타겟으로 한다.

2. RETENTION_LIMIT 에 지정된 일자(7개월) 만큼 매월 1일 데이터를 보관한다.

3. RETENTION_DAILY 에 지정된 일자(1개월) 만큼 매일 데이터를 보관한다.

4. BACKUP=ON 이 선언될 경우 작동중인 인스턴스의 모든 EBS 볼륨의 snap-shot을 생성한다.

5. SC_MODE=TEST 가 실제 작동이 아닌 어떤 작동을을 하게 될지 echo로 출력한다.

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

#!/bin/bash

##############################################################################################

### EDITABLE variable ### https://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region

AWS_REGION_ARR=( us-west-2 ap-northeast-2 ) ## Array ec2 locate region

RETENTION_LIMIT="215" ## first day of months retention Limit (ex: 2018-01-01, 2018-02-01 ... )

RETENTION_DAILY="31" ## every day snap-shot retention

SC_MODE="TEST" ## TEST MODE - if want OFF just Remark(#).

#BACKUP="ON" ## Make snap-shot Function. - if want OFF just Remark(#).

### Using AWS Security Credentials ###

#export AWS_ACCESS_KEY_ID=AAAAAAAAAAAAAAAAAAAA

#export AWS_SECRET_ACCESS_KEY=BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB

### FIXED variable ###

TODAY=$(date +%Y-%m-%d)

AWSCLI=$(which aws)

SCRIPTPATH=$(cd "$(dirname "$0")" && pwd)

VLIST="$SCRIPTPATH/volume_list"

SLIST="$SCRIPTPATH/snapshot_list"

### AWS - Volumes Check ###

rm -f $VLIST && touch $VLIST

for a in ${AWS_REGION_ARR[*]}

## running instance check ##

RUNNNING_INSTANCE=$($AWSCLI ec2 describe-instances --output text --region $a \

--query 'Reservations[*].Instances[*].[InstanceId]' \

--filters 'Name=instance-state-name,Values=running' | paste -s -d",")

## Get Attached Volumes List ##

if [ ! -z "$RUNNNING_INSTANCE" ];then

$AWSCLI ec2 describe-volumes --output text --region $a \

--query 'Volumes[*].[VolumeId, Attachments[0].InstanceId, AvailabilityZone, State, Tags[0].Value]' \

--filters "Name=attachment.instance-id,Values=$RUNNNING_INSTANCE" >> $VLIST

unset RUNNNING_INSTANCE

done

### stop script when Volume List are empty ###

if [ $(wc -l $VLIST | awk '{print $1}') -eq 0 ];then

echo "make sure ~]# aws configure"

exit 1

### aws snap-shot control function ###

delete_aws_snapshot() {

if [[ "$SC_MODE" == "TEST" ]];then

echo -e "\e[31;1mDELETING $SNAPID $BDATE \e[0m"

else

$AWSCLI ec2 delete-snapshot --output text --region $REGION --snapshot-id $SNAPID

}

skip_aws_snapshot() {

if [[ "$SC_MODE" == "TEST" ]];then

echo -e "\e[32;1mKEEP $SNAPID $BDATE \e[0m"

}

### AWS - snap-shots Check ###

while read b

VOLUMEID=$(echo $b | cut -d" " -f1)

REGIONx=$(echo $b | cut -d" " -f3)

REGION=${REGIONx:0:$((${#REGIONx}-1))}

rm -f $SLIST

$AWSCLI ec2 describe-snapshots --output text --region $REGION \

--query 'Snapshots[*].[SnapshotId,VolumeId,Description,StartTime]' \

--filters "Name=status,Values=completed" "Name=volume-id,Values=$VOLUMEID" | \

grep -v "Created by CreateImage" > $SLIST

## AWS - Snap-Shots Delete ##

while read c

SNAPID=$(echo $c | cut -d" " -f1)

BDATE=$(echo $c | awk '{print $NF}' | cut -d"T" -f1)

RETENTION=$(( $(( $(date -d "$TODAY" "+%s") - $(date -d "$BDATE" "+%s") )) / 86400 ))

if [ -z "$(echo $BDATE|grep "\-01$")" ];then

if [ $RETENTION -gt $RETENTION_DAILY ];then

delete_aws_snapshot;

else

skip_aws_snapshot;

else

if [ $RETENTION -gt $RETENTION_LIMIT ];then

delete_aws_snapshot;

else

skip_aws_snapshot;

fi;fi

unset RETENTION BDATE SNAPID

done < $SLIST

rm -f $SLIST

unset VOLUMEID REGION REGIONx

done < $VLIST

### AWS - Make EBS Snap-Shots from Volume if backup are "ON" ###

if [[ "$BACKUP" == "ON" ]];then

while read d

VOLUMEID=$(echo $d | cut -d" " -f1)

REGIONx=$(echo $d | cut -d" " -f3)

REGION=${REGIONx:0:$((${#REGIONx}-1))}

VOLUMENAME=$(echo $d | cut -d" " -f5)

if [ -z "$VOLUMENAME" ];then

DESCRIPTION="$(date +"%Y-%m-%d_%H:%M:%S")_$VOLUMEID"

else

DESCRIPTION="$(date +"%Y-%m-%d_%H:%M:%S")_$VOLUMENAME"

if [[ "$SC_MODE" == "TEST" ]];then

echo -e "\e[32;1mMAKE SNAP-SHOT $VOLUMEID\e[0m"

else

$AWSCLI ec2 create-snapshot --region $REGION --volume-id $VOLUMEID --description "$DESCRIPTION" > /dev/null

unset DESCRIPTION VOLUMENAME REGION REGIONx VOLUMEID

done < $VLIST

rm -f $VLIST

unset skip_aws_snapshot delete_aws_snapshot

unset SC_MODE AWS_REGION_ARR RETENTION_LIMIT RETENTION_DAILY TODAY SCRIPTPATH VLIST SLIST a b c

exit 0