Docker 로그 설정

WEB 및 WAS 를 docker 를 이용해서 구현을 하다 보니 디스크 사용량이 점점 많이 증가 하게 된다.

컨테이너를 지우고 새로 띄우면 로그는 날라 가지만 주기적으로 해야 하는 불편함…..

그래서 docker 에서 /etc/docker/daemon.json 에 로그 관련 설정을 추가 한다. (50MB, 10개)

{

"log-driver": "json-file",

"log-opts": {

"max-size": "50m",

"max-file": "10"

}

그리고 Docker 를 재시작 한다.

1	~]# systemctl restart docker.service

이미 실행된 Container 에는 적용 되지 않는다. 즉 새롭게 생성한 Container만 적용이 된다.

docker container update 로도 변경 되지 않는 항목이기 때문에 컨테이너를 삭제하고 run을 새로 해야 한다.

CVE-2024-6387 – regreSSHion 취약점

openssh 명령어의 취약점이 공개 되었다.

인터넷 진흥원 공지: https://www.krcert.or.kr/kr/bbs/view.do?searchCnd=&bbsId=B0000133&searchWrd=&menuNo=205020&pageIndex=1&categoryCode=&nttId=71480

심각도가 high 이고 root 권한 탈취가 가능하기 때문에 외부에 ssh 가 공개되는 서버는 필히 업데이트를 하는것이 좋다.

영향을 받는 ubuntu 버전은 22.04 ~ 24.04 이며 RHEL 9 의 경우 업데이트가 필요 하다. (ssh -V 를 했을때 버전 8.5p1 ~ 9.8p1)

ubuntu ~]# sudo apt update && sudo apt install openssh-server

Rockylinux ~]# dnf update openssh

다른 방법 으로는 sshd_config 에서 LoginGraceTime 을 0으로 수정하는 방법이 있는데 DDOS 에 취약해지니까 가급적 패치를 하도록 한다.

Ubuntu 공지: https://ubuntu.com/blog/ubuntu-regresshion-security-fix

RockyLinux 공지: https://rockylinux.org/news/2024-07-01-openssh-sigalrm-regression

Docker 와 firewall-cmd 사용법

Rockylinux(OracleLinux) 8.x 에서 Docker 는 run/start/stop 을 할때
Docker-proxy 가 iptables 를 이용해서 DOCKER, DOCKER-USER, DOCKER-ISOLATION-STAGE-1, DOCKER-ISOLATION-STAGE-2 등의 Chain을
만들어 관리 하기 때문에 기존에 설정된 firewall 설정을 무시하고 호출이 가능한 상태가 된다.

OCI 에서는 인스턴스에 시큐리티 리스트에서 아이피/포트를 관리할 수 있으나
스위치의 access_list 처럼 같은 서브넷에 속한 모든 서버가 영향을 받기 때문에 firewall 에서
설정한 포트만 오픈을 하고자 할때 사용할 수 있는 방법이다.(OCI 안에서 여러 인스턴스를 운영하거나 로컬에서 Docker 서버를 운영할때..)

~~AWS 의 보안 그룹은 각 인스턴스 별로 작동하기 때문에 불필요 하다.~~

먼저 도커의 iptables 사용 옵션을 끄고 docker 를 재시작 한다.

Linux

1
2

~]# echo '{ "iptables": false }' > /etc/docker/daemon.json
~]# systemctl restart docker.service docker.socket
firewalld 에서 설정된 값을 모두 초기화 한다.

Linux

1

~]# iptables -F && iptables -X
Docker 의 네트워크 정보를 확인 한다.

Linux

1
2

~]# docker network inspect bridge -f '{{range .IPAM.Config}}{{.Subnet}}{{end}}'
172.17.0.0/16

Container 에서 호스트롤 통해 outbound 를 위한 설정을 추가 한다. (첫번째줄에 Docker의 네트워크 정보를 입력해서 실행 해야 한다.)

~]# firewall-cmd --permanent --zone docker --add-source 172.17.0.1/16

~]# firewall-cmd --permanent --new-policy dockerToWorld

~]# firewall-cmd --permanent --policy dockerToWorld --add-ingress-zone docker

~]# firewall-cmd --permanent --policy dockerToWorld --add-egress-zone ANY

~]# firewall-cmd --permanent --policy dockerToWorld --set-target ACCEPT

~]# firewall-cmd --permanent --policy dockerToWorld --add-masquerade

inbound 를 위한 설정을 추가 한다.

~]# firewall-cmd --permanent --new-policy dockerFwdPort

~]# firewall-cmd --permanent --policy dockerFwdPort --add-ingress-zone ANY

~]# firewall-cmd --permanent --policy dockerFwdPort --add-egress-zone HOST

필요에 따라 아래와 같이 inbound 설정을 추가 한다. (nginx-docker 를 위한 80(tcp), 443(tcp/udp) 을 연다.)

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=443:proto=tcp:toport=443:toaddr=172.17.0.2

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=443:proto=udp:toport=443:toaddr=172.17.0.2

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=80:proto=tcp:toport=80:toaddr=172.17.0.2

마지막에 여는 명령어를 보면 알겠지만 열려고 하는 컨테이너의 IP를 알아야 한다.

때문에 Container 으로 진입해서 ifconfig 를 보면 알 수 있겠지만 매우 귀찬은 관계로 스크립트를 작성 하였다.

#!/bin/bash

Chain_inbound=dockerFwdPort

iptables_inbound=$(iptables -nL $Chain_inbound 2>/dev/null)

Container_list=$(docker ps --format 'table {{.Names}}\t{{.Ports}}')

echo -e "\e[35;1m===================================================================================\e[0m"

echo "$Container_list"

echo -e "\e[35;1m===================================================================================\e[0m"

echo -e "\e[32;1m*** Run manually what Container open to out of world. ***\e[0m"

echo -e "\e[35;1m-----------------------------------------------------------------------------------\e[0m"

for a in $(awk '!/NAMES/{print $1}' <<< "$Container_list")

Container_data=$(docker inspect $a --format '{{.NetworkSettings.IPAddress}} {{.HostConfig.PortBindings}}' |

sed 's/map\[//g;s/\]//g;s/\[//g;s/[{}]//g;s/: /:/g')

Container_IP=$(awk '{print $1}' <<< $Container_data)

echo -e "\e[34;1m### $a ###\e[0m"

for b in $(awk '{$1="";print $0}' <<< $Container_data)

to_port=$(cut -d'/' -f1 <<< $b)

proto=$(cut -d'/' -f2 <<< $b | cut -d":" -f1)

from_port=$(cut -d':' -f2 <<< $b)

if [ $(grep -w $Container_IP <<< "$iptables_inbound"|grep -w $to_port|grep -w $proto|wc|awk '{print $1}') -eq 0 ];then

echo " firewall-cmd --permanent --policy $Chain_inbound --add-forward-port port=$from_port:proto=$proto:toport=$to_port:toaddr=$Container_IP"

((COUNT++))

done

echo

done

if [[ $COUNT -ge 1 ]];then

echo -e "\e[34;1m### restart firewalld ###\e[0m"

echo " firewall-cmd --reload"

echo -e "\e[35;1m===================================================================================\e[0m"

exit 0

실행하면 아래와 같이 나오는데 필요한 Container 부분만 실행을 해서 사용하면 된다.

20240620_131234

출처: https://firewalld.org/2024/04/strictly-filtering-docker-containers

Docker 를 이용한 데이터베이스(mariadb) 사용법

Web / Was 만 도커를 이용해 배포하는 이유는 Mysql, MariaDB 등의 공식 도커가 너무 잘되어 있어서 이다.

그래서 이용하는 법만 알면 되는데. ‘ㅅ’a

공식 소개 페이지에 잘 나와 있긴 하지만 docker 사전 지식 없이 사용을 하기엔 설명을 건너 뛴 부분이 많다.

여기서는 MariaDB 공식 도커이미지를 가지고 간단히 DB를 띄우는 방법에 대한 부분만 설명 한다.

사용할 버전은 10.11 버전이다. 10.11을 사용하는 이유는 LTS 이기 때문에 지금 당장은 가장 오랜 업데이트가 지원될 예정이기 때문이다. (https://endoflife.date/mariadb)

– 2024-09-19 추가 : 현재 11.4 가 마지막 Long Term Support 버전이다. ‘ㅅ’a –

사용할 도커 이미지: mariadb – Official Image | Docker Hub

1. 이미지 pull 및 run을 한다.

~]# docker pull mariadb:10.11

~]# docker run -d --name project_db \

-p 3306:3306 \

--restart unless-stopped \

-v /etc/mysql/mariadb.conf.d/:/etc/mysql/mariadb.conf.d/ \

-v /var/lib/mysql:/var/lib/mysql \

-e TZ=Asia/Seoul

-e MARIADB_ROOT_PASSWORD=루트패스워드 \

mariadb:10.11

C:\> docker run -d --name project_db -p 3306:3306 -v d:\project1\mariadb.conf.d:/etc/mysql/mariadb.conf.d/ -v d:\project1\mariadb:/var/lib/mysql --env MARIADB_ROOT_PASSWORD=루트패스워드 mariadb:10.11

2. mysql을 이용 한다. = _ =..

1	~]# docker exec -it project_db mysql -uroot -p루트패스워드 mysql

3. 그냥 글을 마무리 하기 심심하니.. 데이터베이스 생성, 유져 생성 쿼리…

# 데이터 베이스 생성

MYSQL> CREATE DATABASE 데이터베이스명;

# 일반 사용자 생성.

MYSQL> GRANT ALL PRIVILEGES ON 데이터베이스명.* TO 'DB아이디'@'%' IDENTIFIED BY '패스워드';

# 루트 사용자를 생성 하면서 패스워드를 지정한다.

MYSQL> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '루트패스워드' WITH GRANT OPTION;

PS. docker run 에 대한 옵션에 대한 설명.

--restart unless-stopped : stop 명령을 내린게 아니라면 (재 부팅 또는 도커 데몬을 스탑 한경우..) 자동으로 시작 하는 옵션.

-v /etc/mysql/mariadb.conf.d/:/etc/mysql/mariadb.conf.d/ : my.cnf 수정이 필요한 DB 튜닝의 경우 /etc/mysql/mariadb.conf.d/custom.cnf 파일을 만들고 내용을 넣고 컨테이너를 재시작 하면 적용 된다.

-v /var/lib/mysql:/var/lib/mysql : mysql 의 데이터 폴더를 마운트 한다.

docker를 이용한 데이터베이스 사용은 업데이트를 편하게 하기 위함이기 때문에 container 를 다시 run 하면 안의 내용을 모두 유실 하게 된다. 때문에 이와 같이 주요 폴더는 호스트OS 와 연결 하여 사용 하면 된다.

-e TZ=Asia/Seoul 만들려는 인스턴스의 timezone을 Seoul(+9) 으로 설정 한다.

-e MARIADB_ROOT_PASSWORD=루트패스워드 run 할때 루트패스워드를 지정해서 생성 한다.(미지정시 랜덤 생성)

연결할 WEB / WAS 구현은 아래 글을 확인합니다 ‘ㅅ’a

OCI arm 인스턴스에서 docker로 web, was 사용

GEOIP database 파일 업데이트

기존 GeoIP 스크립트에서 GeoIP.dat 파일이 0 으로 생성을 하게 되어서 Apache에 에러가 발생 하였다.

에러 메세지는 아래와 같이 /var/log/httpd/error_log 파일과 /var/log/messages 파일 에서 확인 되었다.

1	[Thu May 02 06:48:37.814899 2024] [core:notice] [pid 12595] AH00052: child pid 2007 exit signal Segmentation fault (11)

1	May 2 08:29:33 ip-172-31-20-41 kernel: httpd[19203]: segfault at 7faee440d6c6 ip 00007faecc87dcf8 sp 00007faeb8c69b30 error 4 in libGeoIP.so.1.5.0[7faecc876000+2e000]

내용 확인 결과 maxmind 에서 배포 되는 csv 파일이 2024년 5월 1일 부로 S3 presigned 를 이용하여 배포 하는 형태로 바뀐것으로 확인이 되었다.

오랜만에 maxmind 사이트에 로그인을 해보니 라이선스 키 길이도 바뀌어서 같이 바꾸는게 좋겠다. 🙂

100

101

#!/bin/bash

######################################################################################

# CRON => 00 06 * * * bash /usr/share/GeoIP/geoip_dat_update_from_geolite2-csv.sh

# 2024-05-02 by Enteroa ( enteroa.j@gmail.com )

######################################################################################

Maxmind_Licensekey=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

### config - DISABLE city it'll be need free memory 2GB

CITYDATA="N"

PRIMARY_SERVER_HOSTNAME="배포서버호스트네임"

PRIMARY_DEPLOY_URL="https://www.enteroa.com"

### geoip setting

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then exit 1

fi;fi

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### define server are primary or secandary.

if [[ "$HOSTNAME" != "$PRIMARY_SERVER_HOSTNAME" ]];then

### download GeoIP.dat file from Primary-server

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/GeoIP.dat ];then touch $GEOIPDIR/GeoIP.dat;fi

PRI_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(curl -sI "$PRIMARY_DEPLOY_URL/GeoIP-dat.tgz"|grep -i ^Last-Modified:|cut -d, -f2)")

SLV_DATE=$(date +"%Y%m%d%H%M.%S" -d "$(stat -c %y $GEOIPDIR/GeoIP.dat)")

if [[ "$PRI_DATE" != "$SLV_DATE" ]];then

curl -k -L $PRIMARY_DEPLOY_URL/GeoIP-dat.tgz -o GeoIP-dat.tgz >/dev/null 2>&1

if [ -s GeoIP-dat.tgz ] || [[ $(stat -c %s GeoIP-dat.tgz) -le 10000 ]];then

tar xfzp GeoIP-dat.tgz

rm -f GeoIP-dat.tgz

else

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

# if [[ -z $(which pip2) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

# if [[ -z $(pip2 list --format=legacy| grep pygeoip) ]];then sudo pip2 install pygeoip > /dev/null 2>&1 ;fi

# if [[ -z $(pip2 list --format=legacy| grep ipaddr) ]];then sudo pip2 install ipaddr > /dev/null 2>&1 ;fi

### link path

if [[ ! -d $GEOIPDIR ]];then mkdir -p $GEOIPDIR;fi

for a in $DATALINK

if [[ ! -d $a ]];then

if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then cd $GEOIPDIR

cd $GEOIPDIR && git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files from GeoLite2 CSV file.

if [ -d $GEOIPDIR/geolite2legacy ];then

cd $GEOIPDIR/geolite2legacy

array=( GeoLite2-Country-CSV:zip )

if [[ $CITYDATA == "Y" ]];then

array=( ${array[*]} GeoLite2-City-CSV:zip )

for b in ${array[@]}

COF=$(cut -d: -f1 <<< $b)

EXT=$(cut -d: -f2 <<< $b)

BASEURL="https://download.maxmind.com/app/geoip_download?edition_id=$COF&license_key=$Maxmind_Licensekey&suffix=$EXT"

DATE_ORI=$(date +"%Y%m%d%H%M.%S" -d "$(curl -sI $BASEURL|grep -i ^Last-Modified:|cut -d, -f2)")

DATE_DAT=$(date +"%Y%m%d%H%M.%S" -d "$(stat -c %y ${COF}.${EXT})")

if [[ "$DATE_ORI" != "$DATE_DAT" ]];then

rm -f $COF.$EXT

### geoip csv file change to S3 presigned. so add -L option.

curl -k -L "$BASEURL" -o $COF.$EXT >/dev/null 2>&1

touch -t $DATE_ORI $COF.$EXT

if [ -s $GEOIPDIR/geolite2legacy/$COF.$EXT ] || [[ $(stat -c %s $GEOIPDIR/geolite2legacy/$COF.$EXT) -ne 0 ]];then

if [[ $COF == "GeoLite2-Country-CSV" ]];then datev4="GeoIP.dat";datev6="GeoIPv6.dat"

elif [[ $COF == "GeoLite2-City-CSV" ]];then datev4="GeoLiteCity.dat";datev6="GeoLiteCityv6.dat";fi

python geolite2legacy.py --input-file $COF.$EXT --fips-file geoname2fips.csv --output-file $datev4

python geolite2legacy.py --input-file $COF.$EXT -6 --fips-file geoname2fips.csv --output-file $datev6

touch -t $DATE_ORI $datev4 $datev6

mv -f $datev4 $GEOIPDIR

mv -f $datev6 $GEOIPDIR

/bin/geoipupdate

done

### Primary Server are deploy for other servers.

cd $GEOIPDIR

if [[ $CITYDATA == "Y" ]];then

tar czfp GeoIP-dat.tgz Geo{IP,IPv6,LiteCity,LiteCityv6}.dat GeoLite2-{Country,City}.mmdb

else

tar czfp GeoIP-dat.tgz Geo{IP,IPv6}.dat GeoLite2-Country.mmdb

touch -t $DATE_ORI GeoIP-dat.tgz

if [ -s GeoIP-dat.tgz ];then

mv -f $GEOIPDIR/GeoIP-dat.tgz /var/www/html/

chown apache:apache /var/www/html/GeoIP-dat.tgz

fi;fi;fi

exit 0

중간에 주석 처리된 3줄은 python2를 사용하는 서버(centos 7 이하)에서는 주석을 제거 하고 사용해야 한다.

몇가지 로직 개선 및 mmdb 파일까지 갱신 하도록 geoipupdate 명령을 중간에 실행 하도록 하였다.

때문에 /etc/GeoIP.conf 파일에 자신의 어카운트 및 라이선스키를 넣어줘야 한다.

# Please see http://dev.maxmind.com/geoip/geoipupdate/ for instructions

# on setting up geoipupdate, including information on how to download a

# pre-filled GeoIP.conf file.

# Enter your account ID and license key below. These are available from

# https://www.maxmind.com/en/my_license_key. If you are only using free

# GeoLite databases, you may leave the 0 values.

AccountID 000000

LicenseKey XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# Enter the edition IDs of the databases you would like to update.

# Multiple edition IDs are separated by spaces.

EditionIDs GeoLite2-Country GeoLite2-City GeoLite2-ASN

그냥 사용 할경우 www.enteroa.com 에서 생성하고 재배포 하는 파일을 다운 받아 사용 한다.

자신의 서버에서 스스로 dat파일을 생성 하고 싶을 경우 Maxmind_Licensekey 부분과 PRIMARY_SERVER_HOSTNAME 부분 또 PRIMARY_DEPLOY_URL 부분을 수정 해서 사용해야 한다.

라이선스키 발급 방법은 같기 때문에 maxmind 에서 라이선스 발급을 원하면 아래 역인글을 확인 한다.

역인글 : GEOIP database …