태그 Archives: Docker

synology 에 docker 를 이용한 gitea 레포지토리 운영

gitea

git 은 기본적으로 Synology 에서 Git Server 를 제공 한다.
다만 GUI를 이용한 환경만 제공 하지 않기 때문에 어렵고 불편 하다.

그래서 Synology 서버에 docker 를 설치 하고 gitea 도커이미지를 이용해서 Container 를 띄움으로서 내부용 레포지토리를 운영 한다.
gitea go언어로 만들어져 가볍고 ssh 키 등록 및 http 연결을 잘 지원 하고 일반 사용법도 github와 비슷 하다.
ARM64 환경에서도 잘 되기 때문에 신규 사용자의 Amazon CodeCommit 이 중지된 지금 시점에서 클라우드내에 IaaS 으로 구축해 사용하기도 좋다.

Synology NAS 에서 docker 또는 Container Manager 를 설치 한다.(DSM 버전에 따라 패키지 명이 다를 수 있다.)

2024-12-18_165142

gitea/gitea 이미지를 다운로드 받는다.

2024-12-18_165554

다운로드가 완료 되면 이미지를 실행해 시킨다.

2024-12-18_170015

내 경우엔 리소스를 제한하고 자동 재시작 옵션을 활성화 했다.
(gitea 는 golang 으로 만들어져 가볍지만(초기 메모리 사용량 100MB) 레포가 늘어 나면 메모리 사용량이 꾸준히 증가할 수 있다.

다음 화면에서 연결될 포트를 선언 한다.

2024-12-18_170147

gitea 은 기본적으로 ssh, http 프로토콜을 사용한다.
DSM의 ssh 데몬과 충돌 하지 않도록 포트는 2222 으로 지정 하고 웹 포트는 3000을 사용 하도록 했다.

파일 스테이션에서 연결할 폴더를 생성 한다.

2024-12-18_170330

Synology 에서 Container에 볼륨으로 연결될 드라이브는 docker 를 설치시 생성 되는 /docker 공유 폴더 아래에 있어야 권한 문제가 발생하지 않는다.

스크롤을 내려서 연결할 볼륨 및 환경을 추가 한다.

2024-12-18_170421

1 2	nas-admin@synology01:/$ id nas-admin uid=1026(nas-admin) gid=100(users) groups=100(users),101(administrators)

참고로 내 Synology 의 관리자 아이디는 nas-admin 이 아니다. (쓸모 없는 =_= 공격금지)

설정값 최종 점검 후 완료 버튼을 눌러 실행 한다.

2024-12-18_170444

gitea 으로 접속해 설치를 진행 한다. ( http://[Synology-Nas-IP]:3000 )

2024-12-18_173317

관리자 계정 설정의 ▶ 를 눌러서 관리자 정보를 입력 하는것을 잊지 말자.
중간에 빨간색, 파란색 칸은 Container 를 실행 할때 ssh, http 포트를 입력해야 하는 부분으로 맞추어 주어야 한다.

테스트로 github 에 있는 레포지토리를 mirror 으로 생성 해본다.

2024-12-18_174235

2024-12-18_174248

2024-12-18_174347

미러로 생성 하는 경우 원본 에서 8시간 마다 원본에서 데이터 싱크를 해온다 ‘ㅅ’a

2024-12-19_093012

gitea 의 화면 구성은 github 과 비슷해 어렵지 않을 것이다.

설정 변경

설치 화면에서 설정 할 수 있는 부분은 /admin 페이지에서 수정 되지 않는게 대부분 이다.
OPEN ID 차단 이나 회원 가입을 막는 부분등은 아래와 같이 /volume1/docker/gitea/gitea/conf/app.ini 설정 파일을 수정 해야 한다.

[service]

# 회원가입 차단=true / 허용=false

DISABLE_REGISTRATION = true

[openid]

# OPEN ID 가입/로그인 설정

ENABLE_OPENID_SIGNIN = true

ENABLE_OPENID_SIGNUP = true

container를 사전에 정지 하고 파일 수정 한뒤에 다시 컨테이너를 시작 한다.

Docker 로그 설정

WEB 및 WAS 를 docker 를 이용해서 구현을 하다 보니 디스크 사용량이 점점 많이 증가 하게 된다.

컨테이너를 지우고 새로 띄우면 로그는 날라 가지만 주기적으로 해야 하는 불편함…..

그래서 docker 에서 /etc/docker/daemon.json 에 로그 관련 설정을 추가 한다. (50MB, 10개)

{

"log-driver": "json-file",

"log-opts": {

"max-size": "50m",

"max-file": "10"

}

그리고 Docker 를 재시작 한다.

1	~]# systemctl restart docker.service

이미 실행된 Container 에는 적용 되지 않는다. 즉 새롭게 생성한 Container만 적용이 된다.

docker container update 로도 변경 되지 않는 항목이기 때문에 컨테이너를 삭제하고 run을 새로 해야 한다.

Docker 와 firewall-cmd 사용법

Rockylinux(OracleLinux) 8.x 에서 Docker 는 run/start/stop 을 할때
Docker-proxy 가 iptables 를 이용해서 DOCKER, DOCKER-USER, DOCKER-ISOLATION-STAGE-1, DOCKER-ISOLATION-STAGE-2 등의 Chain을
만들어 관리 하기 때문에 기존에 설정된 firewall 설정을 무시하고 호출이 가능한 상태가 된다.

OCI 에서는 인스턴스에 시큐리티 리스트에서 아이피/포트를 관리할 수 있으나
스위치의 access_list 처럼 같은 서브넷에 속한 모든 서버가 영향을 받기 때문에 firewall 에서
설정한 포트만 오픈을 하고자 할때 사용할 수 있는 방법이다.(OCI 안에서 여러 인스턴스를 운영하거나 로컬에서 Docker 서버를 운영할때..)

~~AWS 의 보안 그룹은 각 인스턴스 별로 작동하기 때문에 불필요 하다.~~

먼저 도커의 iptables 사용 옵션을 끄고 docker 를 재시작 한다.

Linux

1
2

~]# echo '{ "iptables": false }' > /etc/docker/daemon.json
~]# systemctl restart docker.service docker.socket
firewalld 에서 설정된 값을 모두 초기화 한다.

Linux

1

~]# iptables -F && iptables -X
Docker 의 네트워크 정보를 확인 한다.

Linux

1
2

~]# docker network inspect bridge -f '{{range .IPAM.Config}}{{.Subnet}}{{end}}'
172.17.0.0/16

Container 에서 호스트롤 통해 outbound 를 위한 설정을 추가 한다. (첫번째줄에 Docker의 네트워크 정보를 입력해서 실행 해야 한다.)

~]# firewall-cmd --permanent --zone docker --add-source 172.17.0.1/16

~]# firewall-cmd --permanent --new-policy dockerToWorld

~]# firewall-cmd --permanent --policy dockerToWorld --add-ingress-zone docker

~]# firewall-cmd --permanent --policy dockerToWorld --add-egress-zone ANY

~]# firewall-cmd --permanent --policy dockerToWorld --set-target ACCEPT

~]# firewall-cmd --permanent --policy dockerToWorld --add-masquerade

inbound 를 위한 설정을 추가 한다.

~]# firewall-cmd --permanent --new-policy dockerFwdPort

~]# firewall-cmd --permanent --policy dockerFwdPort --add-ingress-zone ANY

~]# firewall-cmd --permanent --policy dockerFwdPort --add-egress-zone HOST

필요에 따라 아래와 같이 inbound 설정을 추가 한다. (nginx-docker 를 위한 80(tcp), 443(tcp/udp) 을 연다.)

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=443:proto=tcp:toport=443:toaddr=172.17.0.2

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=443:proto=udp:toport=443:toaddr=172.17.0.2

~]# firewall-cmd --permanent --policy dockerFwdPort --add-forward-port port=80:proto=tcp:toport=80:toaddr=172.17.0.2

마지막에 여는 명령어를 보면 알겠지만 열려고 하는 컨테이너의 IP를 알아야 한다.

때문에 Container 으로 진입해서 ifconfig 를 보면 알 수 있겠지만 매우 귀찬은 관계로 스크립트를 작성 하였다.

#!/bin/bash

Chain_inbound=dockerFwdPort

iptables_inbound=$(iptables -nL $Chain_inbound 2>/dev/null)

Container_list=$(docker ps --format 'table {{.Names}}\t{{.Ports}}')

echo -e "\e[35;1m===================================================================================\e[0m"

echo "$Container_list"

echo -e "\e[35;1m===================================================================================\e[0m"

echo -e "\e[32;1m*** Run manually what Container open to out of world. ***\e[0m"

echo -e "\e[35;1m-----------------------------------------------------------------------------------\e[0m"

for a in $(awk '!/NAMES/{print $1}' <<< "$Container_list")

Container_data=$(docker inspect $a --format '{{.NetworkSettings.IPAddress}} {{.HostConfig.PortBindings}}' |

sed 's/map\[//g;s/\]//g;s/\[//g;s/[{}]//g;s/: /:/g')

Container_IP=$(awk '{print $1}' <<< $Container_data)

echo -e "\e[34;1m### $a ###\e[0m"

for b in $(awk '{$1="";print $0}' <<< $Container_data)

to_port=$(cut -d'/' -f1 <<< $b)

proto=$(cut -d'/' -f2 <<< $b | cut -d":" -f1)

from_port=$(cut -d':' -f2 <<< $b)

if [ $(grep -w $Container_IP <<< "$iptables_inbound"|grep -w $to_port|grep -w $proto|wc|awk '{print $1}') -eq 0 ];then

echo " firewall-cmd --permanent --policy $Chain_inbound --add-forward-port port=$from_port:proto=$proto:toport=$to_port:toaddr=$Container_IP"

((COUNT++))

done

echo

done

if [[ $COUNT -ge 1 ]];then

echo -e "\e[34;1m### restart firewalld ###\e[0m"

echo " firewall-cmd --reload"

echo -e "\e[35;1m===================================================================================\e[0m"

exit 0

실행하면 아래와 같이 나오는데 필요한 Container 부분만 실행을 해서 사용하면 된다.

20240620_131234

출처: https://firewalld.org/2024/04/strictly-filtering-docker-containers

Docker 를 이용한 데이터베이스(mariadb) 사용법

Web / Was 만 도커를 이용해 배포하는 이유는 Mysql, MariaDB 등의 공식 도커가 너무 잘되어 있어서 이다.

그래서 이용하는 법만 알면 되는데. ‘ㅅ’a

공식 소개 페이지에 잘 나와 있긴 하지만 docker 사전 지식 없이 사용을 하기엔 설명을 건너 뛴 부분이 많다.

여기서는 MariaDB 공식 도커이미지를 가지고 간단히 DB를 띄우는 방법에 대한 부분만 설명 한다.

사용할 버전은 10.11 버전이다. 10.11을 사용하는 이유는 LTS 이기 때문에 지금 당장은 가장 오랜 업데이트가 지원될 예정이기 때문이다. (https://endoflife.date/mariadb)

– 2024-09-19 추가 : 현재 11.4 가 마지막 Long Term Support 버전이다. ‘ㅅ’a –

사용할 도커 이미지: mariadb – Official Image | Docker Hub

1. 이미지 pull 및 run을 한다.

~]# docker pull mariadb:10.11

~]# docker run -d --name project_db \

-p 3306:3306 \

--restart unless-stopped \

-v /etc/mysql/mariadb.conf.d/:/etc/mysql/mariadb.conf.d/ \

-v /var/lib/mysql:/var/lib/mysql \

-e TZ=Asia/Seoul

-e MARIADB_ROOT_PASSWORD=루트패스워드 \

mariadb:10.11

C:\> docker run -d --name project_db -p 3306:3306 -v d:\project1\mariadb.conf.d:/etc/mysql/mariadb.conf.d/ -v d:\project1\mariadb:/var/lib/mysql --env MARIADB_ROOT_PASSWORD=루트패스워드 mariadb:10.11

2. mysql을 이용 한다. = _ =..

1	~]# docker exec -it project_db mysql -uroot -p루트패스워드 mysql

3. 그냥 글을 마무리 하기 심심하니.. 데이터베이스 생성, 유져 생성 쿼리…

# 데이터 베이스 생성

MYSQL> CREATE DATABASE 데이터베이스명;

# 일반 사용자 생성.

MYSQL> GRANT ALL PRIVILEGES ON 데이터베이스명.* TO 'DB아이디'@'%' IDENTIFIED BY '패스워드';

# 루트 사용자를 생성 하면서 패스워드를 지정한다.

MYSQL> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '루트패스워드' WITH GRANT OPTION;

PS. docker run 에 대한 옵션에 대한 설명.

--restart unless-stopped : stop 명령을 내린게 아니라면 (재 부팅 또는 도커 데몬을 스탑 한경우..) 자동으로 시작 하는 옵션.

-v /etc/mysql/mariadb.conf.d/:/etc/mysql/mariadb.conf.d/ : my.cnf 수정이 필요한 DB 튜닝의 경우 /etc/mysql/mariadb.conf.d/custom.cnf 파일을 만들고 내용을 넣고 컨테이너를 재시작 하면 적용 된다.

-v /var/lib/mysql:/var/lib/mysql : mysql 의 데이터 폴더를 마운트 한다.

docker를 이용한 데이터베이스 사용은 업데이트를 편하게 하기 위함이기 때문에 container 를 다시 run 하면 안의 내용을 모두 유실 하게 된다. 때문에 이와 같이 주요 폴더는 호스트OS 와 연결 하여 사용 하면 된다.

-e TZ=Asia/Seoul 만들려는 인스턴스의 timezone을 Seoul(+9) 으로 설정 한다.

-e MARIADB_ROOT_PASSWORD=루트패스워드 run 할때 루트패스워드를 지정해서 생성 한다.(미지정시 랜덤 생성)

연결할 WEB / WAS 구현은 아래 글을 확인합니다 ‘ㅅ’a

OCI arm 인스턴스에서 docker로 web, was 사용

OCI arm 인스턴스에서 docker로 web, was 사용

OCI 에서 제공되는 무료 서버를 이용하여 nginx(x86) – was(arm64) – DB(arm64) 으로 잘 사용하고 있었다. (물론 앞으로도 잘 사용할 예정…)

기존엔 snapd(certbot) 도 arm64에서 정상 동작지 않았고 http3를 구현한 nginx도 베타 였으나 현재는 mainline-quic 으로 되었기 때문에
native-arm64 환경으로 이행을 통해 메모리가 적어서 상대적으로 속도가 느렸던 x86서버를 버리기 위해서 아래와 같은 목표를 구현하는 것을 목표로 잡았다.

Docker – Was(http,php-fpm) 의 OS를 amazonlinux2 -> rockylinux9 으로 변경 및 php-8.3 사용
Docker – rockylinux9 – nginx-quic(http3) 구축
Docker x86_64(amd64), arm64(aarch64) 을 지원

2024-09-24_102141

Docker 설치

베이스 OS는 rockylinux 9 (aarch64)이며, 서버에 docker 를 설치하고 활성화 한다. (Install Docker Desktop on RHEL)

~]# dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

~]# dnf -y install docker-ce docker-ce-cli containerd.io docker-compose-plugin

~]# systemctl enable --now docker.service

Was 컨테이너 안에서 웹서비스가 apache:apache 권한 으로 동작 되기 때문에 아래와 같이 베이스 os에 같은 유져를 생성 한다.
(바깥에서 단순 UID 48으로 지정해 운영 해도 된다.)

~]# groupadd -g 48 apache

~]# useradd -s /sbin/nologin -u 48 -g apache -d /usr/share/httpd -c Apache apache

~]# mkdir -p /var/www/html

~]# chown -R apache:apache /var/www/html

배포된 Docker 이미지를 이용한 apache, php 사용

https://hub.docker.com/r/san0123/rocky9-http-php

웹서버 또는 개발자 PC (windows)에서 공통으로 사용할 수 있도록 생성한 Docker 이미지 이다.

도커는 pull 을 별도로 하지 않더라도 정확한 주소를 사용할 경우 자동으로 pull 하는 기능이 있으므로 바로 run 을 실행 한다.
nginx 가 80,443 을 사용할 예정이기 때문에 9000번 포트를 이용해 run 한다.

~]# docker run -d --name main_site \

-p 9000:80 \

--restart unless-stopped \

--add-host host.docker.internal:host-gateway \

--mount type=bind,source=/free/home/project/html,target=/var/www/html \

san0123/rocky9-http-php:8.3

웹소스를 호스트os의 /free/home/project/html 에 넣으면 호출을 할수 있다.
파일을 복사해 넣거나 압축을 해제한 후에는 chown -R apache:apache /free/home/project/html 을 잊지 말자…

배포된 rocky8-httpd-php, rocky9-httpd-php 에서 CI4(code igniter 4) 사용법

~]# docker exec main_site composer create-project codeigniter4/appstarter html

~]# sudo docker exec main_site chown -R apache:apache /var/www/html

~]# docker exec main_site sed -i "s+DocumentRoot \"/var/www/html+DocumentRoot \"/var/www/html/public+g" /etc/httpd/conf/httpd.conf

~]# docker restart main_site

일반적인 CMS테스트를 위할 경우 여기 까지만 진행 하고 웹서버를 서비스 하고자 할때 아래 부분까지 진행 한다.

배포된 Docker 이미지를 이용한 Nginx 사용

https://hub.docker.com/r/san0123/rocky9-nginx

웹서버에서 http3 를 구현하기 위해서 apache 앞에 nginx를 사용하고 Let’s encrypt(certbot) 을 사용하기 위한 Docker 이미지 이다.

Nginx 도커를 이용한 http2를 위해 80/tcp, 443/tcp 그리고 http3를 위해 443/udp 을 파이어월에서 허용 한다.

~]# firewall-cmd --add-service=http --permanent

~]# firewall-cmd --add-service=https --permanent

~]# firewall-cmd --add-port=443/udp --permanent

~]# firewall-cmd --reload

웹용 도커는 베이스OS에서 virtualhost 설정 파일 을 저장해서 버전 업데이트시 설정 파일을 새로 설정 하지 않기 위해 mount 하기 때문에 먼저 생성을 한뒤 docker run 을 해야 한다.

1 2	~]# mkdir -p /var/www/conf ~]# touch /var/www/conf/virtual.conf

Nginx용 도커를 실행 한다. 컨테이너를 재 생성 할때마다 인증서나 가상호스트 파일을 수정하지 않도록 두개의 마운트 포인트를 추가해서 실행한다.

~]# docker run -d --name nginx_docker \

-p 80:80 -p 443:443 -p 443:443/udp \

--restart unless-stopped \

-v /etc/letsencrypt:/etc/letsencrypt \

-v /var/www/conf/virtual.conf:/etc/nginx/conf.d/virtual.conf \

san0123/rocky9-nginx

도메인을 서버에 연결 한 뒤에 Let‘s encrypt 를 생성하는 명령어는 다음과 같다. (email, domain 은 자신에 맞게 수정해서 사용한다.)

~]# docker exec nginx_docker /usr/local/bin/certbot certonly \

--server https://acme-v02.api.letsencrypt.org/directory --rsa-key-size 4096 --agree-tos \

--email 이메일@주소.com --webroot -w /var/www/html \

-d www.도메인.com -d 도메인.com -d grafana.도메인.com

베이스OS 에서 /var/www/conf/virtual.conf 를 자신의 url에 맞게 수정하고 발급된 인증서가 동작할 수 있도록 수정을 한다.

### http server

server {

listen 80;

server_name www.도메인.com 도메인.com grafana.도메인.com;

include security_params;

include security_method_params;

location ^~ /.well-known/acme-challenge/ { root /var/www/html/; }

location / { rewrite ^ https://$host$request_uri? permanent; }

}

### http2 set for example.com -> www.example.com ###

server {

listen 443 ssl;

server_name 도메인.com;

include http2_params;

ssl_certificate /etc/letsencrypt/live/www.도메인.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.도메인.com/privkey.pem;

add_header Strict-Transport-Security 'max-age=31536000; preload';

location / {

return 301 https://www.$server_name$request_uri;

}

### http3 only one site ###

server {

listen 443 ssl;

listen 443 quic reuseport;

server_name www.도메인.com;

include security_params;

include security_method_params;

include http2_params;

include http3_params;

ssl_certificate /etc/letsencrypt/live/www.도메인.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.도메인.com/privkey.pem;

add_header Strict-Transport-Security 'max-age=31536000; includeSubDomains; preload';

location / {

include proxy_params;

proxy_pass http://host.docker.internal:9000;

}

### http2 other site ###

server {

listen 443 ssl;

server_name grafana.도메인.com;

include security_params;

include http2_params;

ssl_certificate /etc/letsencrypt/live/www.도메인.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.도메인.com/privkey.pem;

add_header Strict-Transport-Security 'max-age=31536000; includeSubDomains; preload';

if ( $request_method !~ ^(GET|POST|PUT|DELETE|HEAD|OPTIONS)$ ) { return 405; }

allow 123.123.123.123/32;

deny all;

location /api/live/ {

proxy_http_version 1.1;

proxy_set_header Host $host;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection "upgrade";

proxy_pass http://host.docker.internal:3000;

}

location / {

include proxy_params;

proxy_pass http://host.docker.internal:3000;

}

nginx를 재시작 하기 위해서 컨테이너를 재시작 한다.

1	~]# docker restart nginx_docker

http3가 잘 활성화 되어있는지 확인 한다. ( https://http3check.net/)

2024-04-27 17 14 57

인증서가 약 2-3개월 마다 갱신해야 하기 때문에 cronatb에 아래와 같이 등록해서 주기적인(주1회) 인증서 업데이트 및 적용을 위한 재시작을 한다. (매주 월요일 오전 8시)

1	00 08 * * 1 /bin/docker exec nginx_docker /usr/local/bin/certbot renew && /bin/docker restart nginx_docker

데이터베이스 사용법 까지 필요 하면 아래 포스트를 확인 하자 ‘ㅅ’a

Docker 를 이용한 데이터베이스 사용법

Docker 설치

배포된 Docker 이미지를 이용한 apache, php 사용

배포된 Docker 이미지를 이용한 Nginx 사용