태그 Archives: GeoIP.dat

GEOIP database 파일 업데이트

기존 GeoIP 스크립트에서 GeoIP.dat 파일이 0 으로 생성을 하게 되어서 Apache에 에러가 발생 하였다.

에러 메세지는 아래와 같이 /var/log/httpd/error_log 파일과 /var/log/messages 파일 에서 확인 되었다.

1	[Thu May 02 06:48:37.814899 2024] [core:notice] [pid 12595] AH00052: child pid 2007 exit signal Segmentation fault (11)

1	May 2 08:29:33 ip-172-31-20-41 kernel: httpd[19203]: segfault at 7faee440d6c6 ip 00007faecc87dcf8 sp 00007faeb8c69b30 error 4 in libGeoIP.so.1.5.0[7faecc876000+2e000]

내용 확인 결과 maxmind 에서 배포 되는 csv 파일이 2024년 5월 1일 부로 S3 presigned 를 이용하여 배포 하는 형태로 바뀐것으로 확인이 되었다.

오랜만에 maxmind 사이트에 로그인을 해보니 라이선스 키 길이도 바뀌어서 같이 바꾸는게 좋겠다. 🙂

100

101

#!/bin/bash

######################################################################################

# CRON => 00 06 * * * bash /usr/share/GeoIP/geoip_dat_update_from_geolite2-csv.sh

# 2024-05-02 by Enteroa ( enteroa.j@gmail.com )

######################################################################################

Maxmind_Licensekey=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

### config - DISABLE city it'll be need free memory 2GB

CITYDATA="N"

PRIMARY_SERVER_HOSTNAME="배포서버호스트네임"

PRIMARY_DEPLOY_URL="https://www.enteroa.com"

### geoip setting

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then exit 1

fi;fi

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### define server are primary or secandary.

if [[ "$HOSTNAME" != "$PRIMARY_SERVER_HOSTNAME" ]];then

### download GeoIP.dat file from Primary-server

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/GeoIP.dat ];then touch $GEOIPDIR/GeoIP.dat;fi

PRI_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(curl -sI "$PRIMARY_DEPLOY_URL/GeoIP-dat.tgz"|grep -i ^Last-Modified:|cut -d, -f2)")

SLV_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(stat -c %y $GEOIPDIR/GeoIP.dat)")

if [[ "$PRI_DATE" != "$SLV_DATE" ]];then

curl -k -L $PRIMARY_DEPLOY_URL/GeoIP-dat.tgz -o GeoIP-dat.tgz >/dev/null 2>&1

if [ -s GeoIP-dat.tgz ] || [[ $(stat -c %s GeoIP-dat.tgz) -le 10000 ]];then

tar xfzp GeoIP-dat.tgz

rm -f GeoIP-dat.tgz

else

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

# if [[ -z $(which pip2) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

# if [[ -z $(pip2 list --format=legacy| grep pygeoip) ]];then sudo pip2 install pygeoip > /dev/null 2>&1 ;fi

# if [[ -z $(pip2 list --format=legacy| grep ipaddr) ]];then sudo pip2 install ipaddr > /dev/null 2>&1 ;fi

### link path

if [[ ! -d $GEOIPDIR ]];then mkdir -p $GEOIPDIR;fi

for a in $DATALINK

if [[ ! -d $a ]];then

if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

cd $GEOIPDIR && git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files from GeoLite2 CSV file.

if [ -d $GEOIPDIR/geolite2legacy ];then

cd $GEOIPDIR/geolite2legacy

array=( GeoLite2-Country-CSV:zip )

if [[ $CITYDATA == "Y" ]];then

array=( ${array[*]} GeoLite2-City-CSV:zip )

for b in ${array[@]}

COF=$(cut -d: -f1 <<< $b)

EXT=$(cut -d: -f2 <<< $b)

BASEURL="https://download.maxmind.com/app/geoip_download?edition_id=$COF&license_key=$Maxmind_Licensekey&suffix=$EXT"

DATE_ORI=$(date +"%Y%m%d%H%M.%S" -d "$(curl -sI $BASEURL|grep -i ^Last-Modified:|cut -d, -f2)")

DATE_DAT=$(date +"%Y%m%d%H%M.%S" -d "$(stat -c %y ${COF}.${EXT})")

if [[ "$DATE_ORI" != "$DATE_DAT" ]];then

rm -f $COF.$EXT

### geoip csv file change to S3 presigned. so add -L option.

curl -k -L "$BASEURL" -o $COF.$EXT >/dev/null 2>&1

touch -t $DATE_ORI $COF.$EXT

if [ -s $GEOIPDIR/geolite2legacy/$COF.$EXT ] || [[ $(stat -c %s $GEOIPDIR/geolite2legacy/$COF.$EXT) -ne 0 ]];then

if [[ $COF == "GeoLite2-Country-CSV" ]];then datev4="GeoIP.dat";datev6="GeoIPv6.dat"

elif [[ $COF == "GeoLite2-City-CSV" ]];then datev4="GeoLiteCity.dat";datev6="GeoLiteCityv6.dat";fi

python geolite2legacy.py --input-file $COF.$EXT --fips-file geoname2fips.csv --output-file $datev4

python geolite2legacy.py --input-file $COF.$EXT -6 --fips-file geoname2fips.csv --output-file $datev6

touch -t $DATE_ORI $datev4 $datev6

mv -f $datev4 $GEOIPDIR

mv -f $datev6 $GEOIPDIR

/bin/geoipupdate

done

### Primary Server are deploy for other servers.

cd $GEOIPDIR

if [[ $CITYDATA == "Y" ]];then

tar czfp GeoIP-dat.tgz Geo{IP,IPv6,LiteCity,LiteCityv6}.dat GeoLite2-{Country,City}.mmdb

else

tar czfp GeoIP-dat.tgz Geo{IP,IPv6}.dat GeoLite2-Country.mmdb

touch -t $DATE_ORI GeoIP-dat.tgz

if [ -s GeoIP-dat.tgz ];then

mv -f $GEOIPDIR/GeoIP-dat.tgz /var/www/html/

chown apache:apache /var/www/html/GeoIP-dat.tgz

fi;fi;fi

exit 0

중간에 주석 처리된 3줄은 python2를 사용하는 서버(centos 7 이하)에서는 주석을 제거 하고 사용해야 한다.

몇가지 로직 개선 및 mmdb 파일까지 갱신 하도록 geoipupdate 명령을 중간에 실행 하도록 하였다.

때문에 /etc/GeoIP.conf 파일에 자신의 어카운트 및 라이선스키를 넣어줘야 한다.

# Please see http://dev.maxmind.com/geoip/geoipupdate/ for instructions

# on setting up geoipupdate, including information on how to download a

# pre-filled GeoIP.conf file.

# Enter your account ID and license key below. These are available from

# https://www.maxmind.com/en/my_license_key. If you are only using free

# GeoLite databases, you may leave the 0 values.

AccountID 000000

LicenseKey XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# Enter the edition IDs of the databases you would like to update.

# Multiple edition IDs are separated by spaces.

EditionIDs GeoLite2-Country GeoLite2-City GeoLite2-ASN

그냥 사용 할경우 www.enteroa.com 에서 생성하고 재배포 하는 파일을 다운 받아 사용 한다.

자신의 서버에서 스스로 dat파일을 생성 하고 싶을 경우 Maxmind_Licensekey 부분과 PRIMARY_SERVER_HOSTNAME 부분 또 PRIMARY_DEPLOY_URL 부분을 수정 해서 사용해야 한다.

라이선스키 발급 방법은 같기 때문에 maxmind 에서 라이선스 발급을 원하면 아래 역인글을 확인 한다.

역인글 : GEOIP database …

GEOIP database 파일 업데이트

그렇다. 또 바뀌었다 ‘ㅅ’….

GeoIP database 파일을 다운 받는데 링크 주소가 변경 되었다

맥스마인드 사이트의 회원 가입 이후 라이선스 키를 받아야 다운로드를 받을 수 있도록 변경 되었다.

crontab 에 아래와 같이 geoipupdate 명령어를 주기적으로 실행 함으로서 업데이트를 실행할 수 있다.

~]# crontab -e

------------------------------------------------------

00 06 * * 5 /bin/geoipupdate # GeoIP database update.

------------------------------------------------------

단지 위 명령어를 실행 하기 위해 맥스마인드사의 회원 가입 과 라이선스 키를 발급 받아야 한다.

그리고 /etc/GeoIP.conf 파일에서 라이선스키 등록을 진행해야 한다.

1 2	AccountID 123456 LicenseKey ABCDEFGHIJKL

이후 geoipupdate명령어를 통해서 업데이트가 잘 되나 실행해보면 된다.

1	~]# geoipupdate

출처 : https://dev.maxmind.com/geoip/geoipupdate/

다른 방법으로는 기존 처럼 스크립트를 이용 하여 바뀐 URL 에 파라메터로 라이선스 키를 넣어서 호출하는 방법이 있다.

개인 적으로 남이 만든 프로그램 보단 직접 하는 스크립트를 선호하는 편이라.. (OS 의존성도 없는 편이고 해서 ‘ ㅅ’a)

스크립트 3 번째 줄에 위 방법을 따라 만든 maxmind 라이선스 키를 입력해야 한다.

#!/bin/bash

#################################

Maxmind_Licensekey="ABCDEFGHIJKL"

#################################

CITYDATA="N" ### config - DISABLE city it'll be need free memory 2GB

### geoip set

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### define server are primary or secandary.

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

if [[ -z $(which pip) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

if [[ -z $(pip list|grep pygeoip) ]];then sudo pip install pygeoip > /dev/null 2>&1 ;fi

if [[ -z $(pip list|grep ipaddr) ]];then sudo pip install ipaddr > /dev/null 2>&1 ;fi

### link path

if [[ ! -d $GEOIPDIR ]];then

mkdir -p $GEOIPDIR

for a in $DATALINK

if [[ ! -d $a ]];then if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy - csv to data file.

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files from GeoLite2 CSV file.

if [ -d $GEOIPDIR/geolite2legacy ];then

cd $GEOIPDIR/geolite2legacy

EXT="zip"

CIF="GeoLite2-City-CSV"

COF="GeoLite2-Country-CSV"

BASEURL="https://download.maxmind.com/app/geoip_download?edition_id"

COF_URL="$BASEURL=$COF&license_key=$Maxmind_Licensekey&suffix=$EXT"

ORI_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(curl -sI $COF_URL|grep -i ^Last-Modified:|cut -d, -f2)")

CSV_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(stat -c %y $COF.$EXT)")

if [[ "$ORI_DATE" != "$CSV_DATE" ]];then

rm -f $COF.$EXT $CIF.$EXT

wget "$COF_URL" -O $COF.$EXT >/dev/null 2>&1

if [ -s $GEOIPDIR/geolite2legacy/$COF.$EXT ];then

python geolite2legacy.py --input-file $COF.$EXT --fips-file geoname2fips.csv --output-file GeoIP.dat

python geolite2legacy.py --input-file $COF.$EXT -6 --fips-file geoname2fips.csv --output-file GeoIPv6.dat

if [[ $CITYDATA == "Y" ]];then

CIF_URL="$BASEURL=$CIF&license_key=$Maxmind_Licensekey&suffix=$EXT"

wget "$CIF_URL" -O $CIF.$EXT >/dev/null 2>&1

python geolite2legacy.py --input-file $CIF.$EXT --fips-file geoname2fips.csv --output-file GeoLiteCity.dat

python geolite2legacy.py --input-file $CIF.$EXT -6 --fips-file geoname2fips.csv --output-file GeoLiteCityv6.dat

touch -t $ORI_DATE GeoLiteCity.dat GeoLiteCityv6.dat

mv -f Geo{LiteCity,LiteCityv6}.dat $GEOIPDIR/ >/dev/null 2>&1

touch -t $ORI_DATE GeoIP.dat GeoIPv6.dat $COF.$EXT

mv -f Geo{IP,IPv6}.dat $GEOIPDIR/ >/dev/null 2>&1

exit 0

기존 스크립트에서 추가 변경된 기능이 있는데 DB 업데이트가 이루어 졌는지 배포주소의 HEAD 체크를 통해서 Last-Modified 를 체크 한다.

쉽게 말하면 맥스마인드사에서 새로운 db를 업데이트 할때만 작동 한다는 소리다. ( 더 쉽게: 매일 돌리면 된다. )

때문에 위 스크립트는 /etc/cron.daily/ 폴더내에 넣어두면 필요할 때 자동 실행이 된다.

출처 : https://dev.maxmind.com/geoip/geoip-direct-downloads/#Direct_Downloads

GEOIP data 파일 업데이트

아래 스크립트는 배포 url 이 변경되어 동작 되지 않아요.

새로운 업데이트 방법 관련 글 : GEOIP database 파일 업데이트

GeoIP.dat 파일을 배포하는 maxmind (https://www.maxmind.com/) 사에서 레거시 파일 형태인 GeoIP.dat 파일을 2019-01-02 일로 부터 배포를 중단하였다.

기존에 apache 혹은 nginx 그리고 iptables 등에서 사용중인 국가별 구분 및 제한을 을 지속적으로 사용 하기 위해서는

GeoIP의 지속적인 업데이트가 필요로 한다.

– 주기적으로 ip는 로테이션이 되기 때문에 dat 파일이 갱신되지 않은채 1년 정도가 지나면 신뢰도가 떨어진다.

다만 과거 형태 .dat 파일만 배포 중단이며 .mmdb 및 .csv 형태의 배포는 지속되고 있다.

때문에 배포되는 csv 파일을 이용 하여 dat 파일을 직접 생성해 주는 방향으로 진행할 수 있다.

이미 github 에서 csv를 이용한 dat 파일을 만드는 게 몇몇 올라와 있다. 이중 https://github.com/sherpya/geolite2legacy 을 이용하여 생성할 수 있는 스크립트를 작성 하였다 ‘ㅅ’a

#!/bin/bash

### config - DISABLE city it'll be need free memory 2GB

REPLACEDATA="30"

CITYDATA="N"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

if [[ -z $(which pip) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

if [[ -z $(pip list|grep pygeoip) ]];then sudo pip install pygeoip > /dev/null 2>&1 ;fi

if [[ -z $(pip list|grep ipaddr) ]];then sudo pip install ipaddr > /dev/null 2>&1 ;fi

### link path

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

if [[ ! -d $GEOIPDIR ]];then

mkdir -p $GEOIPDIR

for a in $DATALINK

if [[ ! -d $a ]];then if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files

if [ -d $GEOIPDIR/geolite2legacy ];then cd $GEOIPDIR/geolite2legacy

COUNTRY="GeoLite2-Country-CSV.zip"

CITY="GeoLite2-City-CSV.zip"

if [[ -z $(find $GEOIPDIR/geolite2legacy -maxdepth 1 $ -name $COUNTRY -o -name $CITY $ -mtime +$REPLACEDATA) ]];then

rm -f $COUNTRY $CITY

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country-CSV.zip" > /dev/null 2>&1

if [[ $CITYDATA == "Y" ]];then

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip" > /dev/null 2>&1

if [ -e $GEOIPDIR/geolite2legacy/$COUNTRY ];then

python geolite2legacy.py --input-file $COUNTRY --fips-file geoname2fips.csv --output-file GeoIP.dat

python geolite2legacy.py --input-file $COUNTRY -6 --fips-file geoname2fips.csv --output-file GeoIPv6.dat

if [[ $CITYDATA == "Y" ]];then

python geolite2legacy.py --input-file $CITY --fips-file geoname2fips.csv --output-file GeoLiteCity.dat

python geolite2legacy.py --input-file $CITY -6 --fips-file geoname2fips.csv --output-file GeoLiteCityv6.dat

if [ -e GeoIP.dat ];then

find $GEOIPDIR -maxdepth 1 -name "*.dat" -mtime +$REPLACEDATA -exec rm -f {} \;

if [[ $CITYDATA == "Y" ]];then

mv -f Geo{IP,IPv6,LiteCity,LiteCityv6}.dat $GEOIPDIR/ > /dev/null 2>&1

else

mv -f Geo{IP,IPv6}.dat $GEOIPDIR/ > /dev/null 2>&1

fi;fi;fi

unset GEOIPDIR DATALINK CITY COUNTRY CITYDATA REPLACEDATA

exit 0

GeoLiteCity.dat 는 최상단의 config CITYDATA 를 Y 로 지정하면 생성한다. (일반적으로 불필요 하며, 생성시 2GB 이상의 메모리를 사용 한다.)

cron 등록은 /etc/cron.daily/ 혹은 /etc/cron.weekly/ 에 파일을 만들어 두면 anacron 이 알아서 주 or 일에 돌려주겠지요..