태그 Archives: dnf

Oracle Linux 8 (x86_64) 서버에서 dnf(yum)을 이용한 nginx 설치 및 http3 구현

아래 글은 오래 되어 도커 이미지 등이 삭제 되었으니 공부 차원이 아니라 이용을 하려면 아래 확인 하세요 ‘ㅅ’a

OCI arm 인스턴스에서 docker로 web, was 사용

OCI 에서 제공 되는 “항상 무료 적격” 서비스에 ARM64 서버로 Apache, Php, MariaDB 를 운영 하고자 하였으나

aarch64 커널에서는 snapd 설치가 가능하지만 lets encrypt 사용이 불가능 하여 불가피 하게 x86_64 서버를 앞에 하나 두어

reverse proxy 할 계획을 세우다 보니 HTTP/3 를 적용하는 부분도 포함해 진행 한다.

알고 가야 하는 부분은 http3 를 구현 하는 nginx-quic 의 경우 아직 테스트 레벨이라는 점이다.

tier 1 = x86_64 – oracle linux 8 – nginx

tier 2 = arm64 – oracle linux 8 – memcache, docker – amazon linux – httpd, php-fpm

tier 3 = arm64 – oracle linux 8 – mariadb

아래 두 글에 이어서 익숙하겠지만 그것을 한다.

# 타임존 설정

~]# ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# oracle-epel-release 활성화 (이부분은 oracle-epel-ol8.repo 에서 enabled=0 처리가 되어 있어서 하는 부분..)

~]# yum-config-manager --enable ol8_developer_EPEL ol8_developer_EPEL_modular

# OS 업그레이드

~]# dnf -y upgrade

# 업그레이드 후 재부팅

~]# reboot

# 필수 프로그램 설치(sealert, htop, pstree)

~]# dnf install psmisc htop setools-console setroubleshoot-server

# vim 사용 설정

~]# echo "alias vi=vim" >> /etc/bashrc

편리한 dnf(yum) 설치를 위해 codeit.guru 레포지토리를 추가 한뒤에 nginx:codeit-quic 설치를 한다.

~]# dnf install -y https://repo.codeit.guru/codeit-repo-release.el8.rpm

~]# dnf module enable -y nginx:codeit-quic

~]# dnf install -y nginx ngtcp2 nginx-module-image-filter GeoIP-GeoLite-data brotli snapd

snapd 를 활용하여 Let’s encrypt 를 설치 한다.

~]# ln -s /var/lib/snapd/snap /snap

~]# systemctl enable --now snapd.socket

~]# snap install core

~]# snap refresh core

~]# snap install --classic certbot

~]# ln -s /snap/bin/certbot /usr/bin/certbot

웹서버의 보안 향상을 위해 Diffie-Hellman param 파일을 생성한다.

1 2	~]# mkdir /etc/pki/nginx ~]# openssl dhparam -out /etc/pki/nginx/dhparam.pem 4096

서버 내부의 파이어월에 사용할 서비스 및 포트를 등록 하고 확인 한다.

~]# firewall-cmd --add-service=http --add-service=https --permanent

~]# firewall-cmd --add-port=443/udp --permanent

~]# firewall-cmd --reload

~]# firewall-cmd --list-all

public (active)

services: http https ssh

ports: 443/udp

nginx.pid 생성, /var/www/html 엑세스(Let’s encrypt 인증서 http 인증) 및 리버스 프록시 구현을 위한 selinux 를 설정 한다.

~]# setsebool -P httpd_can_network_relay 1

~]# setsebool -P httpd_graceful_shutdown 1

~]# setsebool -P nis_enabled 1

~]# semanage fcontext -a -t httpd_var_run_t "/var/run/nginx.pid"

~]# semanage fcontext -a -t httpd_sys_content_t "/var/www/html(/.*)?"

OCI 클라우드 내에서의 보안 목록(Security List) 에서 아래와 같이 UDP :443 을 허용해 준다.

2022-05-12_121444

/etc/nginx/nginx.conf 파일을 수정 한다.

user nginx;

worker_processes auto;

error_log /var/log/nginx/error.log notice;

events {

worker_connections 1024;

}

http {

include /etc/nginx/mime.types;

default_type application/octet-stream;

charset utf-8;

geoip2 /usr/share/GeoIP/GeoLite2-Country.mmdb {

$geoip2_data_country_iso_code country iso_code;

}

log_format main '$host $remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" "$http_user_agent" $geoip2_data_country_iso_code';

access_log /var/log/nginx/access.log main;

keepalive_timeout 65;

server_tokens off;

sendfile on;

brotli on;

brotli_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/octet-stream;

gzip on;

gzip_vary on;

gzip_types text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/octet-stream;

etag off;

resolver 8.8.8.8 8.8.4.4 valid=300s ipv6=off;

resolver_timeout 5s;

server_names_hash_bucket_size 128;

ssl_trusted_certificate /etc/pki/tls/certs/ca-bundle.crt;

ssl_dhparam /etc/pki/nginx/dhparam.pem;

ssl_session_tickets off;

ssl_session_timeout 24h;

ssl_session_cache shared:SSL:30m;

ssl_protocols TLSv1.2 TLSv1.3;

ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;

ssl_buffer_size 8k;

ssl_stapling on;

ssl_stapling_verify on;

ssl_prefer_server_ciphers on;

client_max_body_size 100m;

client_body_buffer_size 10m;

proxy_request_buffering off;

proxy_connect_timeout 90;

proxy_send_timeout 90;

proxy_read_timeout 90;

proxy_buffers 32 256k;

proxy_buffer_size 128k;

proxy_busy_buffers_size 256k;

include /etc/nginx/conf.d/*.conf;

server {

listen 80;

server_name _;

root /var/www/html/;

deny all;

expires off;

location / {

index index.html index.htm;

}

error_page 403 404 500 502 503 504 /50x.html;

location = /50x.html {

root /usr/share/nginx/html;

internal;

}

Let’s encrypt 인증서 발급을 위한 http 가상호스트를 수정 한다. vi /etc/nginx/conf.d/default.conf

server {

listen *:80;

server_name www.enteroa.com enteroa.com;

location ^~ /.well-known/acme-challenge/ {

root /var/www/html/;

}

location / {

return 301 https://$host$request_uri;

}

conf 파일을 설정한 뒤 nginx 를 활성화 및 시작 한다.

1	~]# systemctl enable --now nginx

Let’s encrypt 인증서를 발급 한다. (성공시 Successfully received certificate 메세지 가 확인 된다.)

~]# certbot certonly --server https://acme-v02.api.letsencrypt.org/directory \

--rsa-key-size 4096 --agree-tos \

--email 자신의@이메일.주소 --webroot -w /var/www/html \

-d www.enteroa.com -d enteroa.com

Successfully received certificate.

Certificate is saved at: /etc/letsencrypt/live/www.enteroa.com/fullchain.pem

Key is saved at: /etc/letsencrypt/live/www.enteroa.com/privkey.pem

https 가상호스트 설정 파일을 추가 생성 한다. vi /etc/nginx/conf.d/default-ssl.conf

upstream WasProxy01 {

ip_hash;

server 프록시.대상.서버.아이피:80; # WAS 서버 IP를 넣는다.

}

server { # www가 없는 도메인은 www.도메인 으로 이동하도록 한다.

listen 443 ssl http2;

server_name enteroa.com;

location / {

return 301 https://www.$host$request_uri;

}

ssl_certificate /etc/letsencrypt/live/www.enteroa.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.enteroa.com/privkey.pem;

add_header Strict-Transport-Security "max-age=31536000; preload";

}

server {

listen 443 http3 reuseport; # 한개의 nginx 에 하나의 http3 만 선언이 가능하다.

listen 443 ssl http2;

server_name www.enteroa.com;

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Host $server_name;

proxy_set_header SSL_PROTOCOL $ssl_protocol;

proxy_set_header SSL_CLIENT_CERT $ssl_client_cert;

proxy_set_header SSL_CLIENT_VERIFY $ssl_client_verify;

proxy_set_header SSL_SERVER_S_DN $ssl_client_s_dn;

proxy_hide_header Upgrade;

if ( $request_method !~ ^(GET|POST|HEAD|OPTIONS)$ ) { # 사용가능 메소드 제한

return 405;

}

location = /robots.txt { # robots.txt 로그 남기지 않음

access_log off;

}

location = /favicon.ico { # favicon.ico 로그 남기지 않음

access_log off;

}

location ~ /\. { # dot(.)으로 시작 되는 파일의 접속 차단

deny all;

}

location ~ ~$ { # dollar($)으로 시작 되는 파일의 접속 차단

deny all;

}

location / {

proxy_pass http://WasProxy01;

}

ssl_certificate /etc/letsencrypt/live/www.enteroa.com/fullchain.pem;

ssl_certificate_key /etc/letsencrypt/live/www.enteroa.com/privkey.pem;

quic_retry on;

ssl_early_data on;

add_header Alt-Svc 'h3=":443"; ma=86400,h3-29=":443"; ma=86400,h3-Q050=":443"; ma=86400,h3-Q046=":443"; ma=86400,h3-Q043=":443"; ma=86400,quic=":443"; ma=86400; v="46,43"';

add_header QUIC-Status $http3;

add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";

add_header Content-Security-Policy-Report-Only "default-src https:; script-src https: 'unsafe-eval' 'unsafe-inline'; style-src https: 'unsafe-inline'; img-src https: data:; font-src https: data:";

}

default.conf 파일과 default-ssl.conf 파일은 하나로 병합해서 사용 해도 관계는 없다.

가상 호스트를 생성 한 뒤 nginx 를 reload 한다.

1	~]# nginx -s reload

위까지 진행 한 경우 http3 를 지원 하는 웹서버의 설정이 모두 끝난다.

다만 구성상 외부서비스 제공은 https 내부에서의 통신은 http 프로토콜을 사용하기 때문에 기본 상태의 wordpress 의 에러메세지를 볼 수 있다.

was 서버에서 운영되는 워드프레스의 wp-config.php 파일에 /* That's all, stop editing! Happy blogging. */ 위 부분에 아래 소스를 삽입 해야 한다.

if ((!empty( $_SERVER['HTTP_X_FORWARDED_HOST'])) || (!empty( $_SERVER['HTTP_X_FORWARDED_FOR'])) ) {

// http://wordpress.org/support/topic/wordpress-behind-reverse-proxy-1

$_SERVER['HTTP_HOST'] = $_SERVER['HTTP_X_FORWARDED_HOST'];

// http://wordpress.org/support/topic/compatibility-with-wordpress-behind-a-reverse-proxy

$_SERVER['HTTPS'] = 'on';

// rewrite blog word with wordpress

//$_SERVER['REQUEST_URI'] = str_replace("wordpress", "blog", $_SERVER['REQUEST_URI']);

}

브라우져 접속 및 체크 사이트(https://http3check.net/) 접속을 통해 HTTP/3 이 활성화 되었는지 확인 한다.
2022-05-11_111722 2022-05-12_121827

Oracle Linux 8 (arm64) 서버에 mariadb 10.7 설치

Oracle Cloud Infrastructure (https://www.oracle.com/kr/cloud/free/)

에서 무료로 제공 되고 있는 서버중 Ampere 를 이용한 인스턴스(VM.Standard.A1.Flex)를 확보 하게 되었다 ‘ㅅ’a (평생 무료)

2코어 12GB 램을 가지고 있어서 활용 방법을 구상 하다가 개인의 DB 서버를 구축을 해서 운용 하면 좋을것으로 판단되어서 mariadb 10.7을 설치 하고

현재 웹사이트인 www.enteroa.com 의 데이터베이스 서버로 활용을 하기로 하였다.

서버 확보가 쉽지 않았지만… (무료 인스턴스 제공 갯수 제한이 있어 Out of host capacity 오류로 생성이 잘 되지 않는다.)

먼저 서버의 시간을 지정 하고 OS 업데이트를 진행 한뒤 재부팅 및 기본 적인 설정을 한다.

# 타임존 설정

~]# ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# oracle-epel-release 활성화 (이부분은 oracle-epel-ol8.repo 에서 enabled=0 처리가 되어 있어서 하는 부분..)

~]# yum-config-manager --enable ol8_developer_EPEL ol8_developer_EPEL_modular

# OS 업그레이드

~]# dnf -y upgrade

# 업그레이드 후 재부팅

~]# reboot

# 필수 프로그램 설치(sealert, htop, pstree)

~]# dnf install psmisc htop setools-console setroubleshoot-server

# vim 사용 설정

~]# echo "alias vi=vim" >> /etc/bashrc

이후 mariadb.org 에서 현재 상황에 맞게 설치를 진행 한다. (https://mariadb.org/download/?t=repo-config&d=Red+Hat+EL+8+%28ARM64%29&v=10.7&r_m=yongbok)

2022-04-27_101422

오라클 리눅스는 기본적으로 RHEL 8 의 복제판 이기 때문에 RHEL 8(ARM64)을 선택하고 RC 가 아닌 최신 10.7 버전을 선택 하였다.

이후 안내 되는 내용에 따라 /etc/yum.repos.d/MariaDB.repo 파일을 생성 하여 아래와 같이 입력 한다.

# MariaDB 10.7 RedHat repository list - created UTC

# https://mariadb.org/download/

[mariadb]

name = MariaDB

baseurl = https://mirror.yongbok.net/mariadb/yum/10.7/rhel8-aarch64

module_hotfixes=1

gpgkey=https://mirror.yongbok.net/mariadb/yum/RPM-GPG-KEY-MariaDB

gpgcheck=1

dnf 명령어를 이용하여 설치를 하고 서비스 활성화 및 데몬을 실행 시킨다.

~]# dnf install -y MariaDB-server MariaDB-client

~]# systemctl enable --now mariadb.service

AWS 의 경우 방화벽이 서버 밖에 테이블 형태로 제어 되지만 오라클 클라우드 의 경우 서버내의 firewalld 으로 제어 되기 때문에 방화벽에서 mysql 서비스를 외부 접근을 허용 한다.

1 2	~]# firewall-cmd --add-service=mysql --permanent ~]# firewall-cmd --reload

데이터베이스 서버에 불필요한 일부 데몬(atd, gssproxy, rpcbind)을 정지 한다. (메모리 절감)

1	~]# systemctl disable --now atd.service gssproxy.service rpcbind.service

기본 인코딩을 설정하고 및 로깅을 위해 /etc/my.cnf.d/mysql-clients.cnf 파일을 수정 한다. (mariadb 10.7 은 기본 캐릭터셋이 utf8mb3 이다.)

[client]

default-character-set = utf8mb3

[mariadb]

character-set-server = utf8mb3

collation-server = utf8mb3_general_ci

skip-name-resolve

[mysqld]

log-error = /var/log/mariadb/mariadb.log

max-connect-error = 10000

slow-query-log = 1

slow_query_log_file = /var/log/mariadb/slow-query.log

long_query_time = 5.0

[mysql]

default-character-set = utf8mb3

[mysql_upgrade]

[mysqladmin]

[mysqlbinlog]

[mysqlcheck]

[mysqldump]

default-character-set = utf8mb3

[mysqlimport]

[mysqlshow]

[mysqlslap]

지정한 error 및 slow 로그 생성을 위해서 로그 저장 위치에 폴더를 생성해 준다.

1 2	~]# mkdir -m 700 /var/log/mariadb ~]# chown mysql /var/log/mariadb

수정한 설정 파일을 적용 하기 위해 mariadb 를 재시작 한다.

1	~]# systemctl restart mariadb.service

mysql 로그인을 한뒤 변경된 내용을 확인 한다.

~]# mysql

MariaDB [(none)]> show variables like 'c%';

+----------------------------------+----------------------------+

| Variable_name | Value |

+----------------------------------+----------------------------+

| character_set_client | utf8mb3 |

| character_set_connection | utf8mb3 |

| character_set_database | utf8mb3 |

| character_set_filesystem | binary |

| character_set_results | utf8mb3 |

| character_set_server | utf8mb3 |

| character_set_system | utf8mb3 |

| character_sets_dir | /usr/share/mysql/charsets/ |

| check_constraint_checks | ON |

| collation_connection | utf8mb3_general_ci |

| collation_database | utf8mb3_general_ci |

| collation_server | utf8mb3_general_ci |

| column_compression_threshold | 100 |

| column_compression_zlib_level | 6 |

| column_compression_zlib_strategy | DEFAULT_STRATEGY |

| column_compression_zlib_wrap | OFF |

| completion_type | NO_CHAIN |

| concurrent_insert | AUTO |

| connect_timeout | 10 |

| core_file | OFF |

+----------------------------------+----------------------------+

불피요한 데이터 베이스인 test 를 삭제 하고 필요한 database 및 로그인 권한을 생성 한다.

MariaDB [(none)]> drop database test;

MariaDB [(none)]> create database enteroa;

MariaDB [(none)]> CREATE USER enteroa@'%' IDENTIFIED BY '비밀번호';

MariaDB [(none)]> GRANT ALL privileges ON enteroa.* TO enteroa@'%';

이제 이용하면 된다 ‘ ㅅ’a

AWS 서버 발생 로그의 분리 보관 (amazon-cloudwatch-agent)

서버내 dbus -> rsyslogd 에 의해 수집된 시스템 로그는 /var/log 아래에 파일 형태로 저장 된다.

이는 /etc/logrotate.conf 설정에 따라 서버내에 보관이 된다.

다만 보관된 파일의 파일 형태로 저장되어 있기 때문에 구조만 알고 있다면 파일을 삭제 하거나 변조 할 수 있으므로

추후 추적을 용의 하게 하기 위해, 데이터 무결성을 보장하기 위해, 혹은 다중의 서버의 데이터를 모아서 보관 하기위해 log 콜렉팅을 하는것이 일반적인 보안 방법 이다.

단순한 rsyslogd 를 이용한 udp 푸시 및 graylog collecting 은 기존에 설명을 했지만

AWS 상에서는 CloudWatch Log 라는 기능을 제공 한다 이를 통해 지표 형태로 보거나 알람 설정등을 할 수 있다.

서버에서는 CloudWatch log 쪽으로 데이터를 넣어주는 프로그램을 설치해서 운용 하며 이후

Log 파일의 안전한 분리 보관, 보관 주기 설정, 알람 설정 등을 웹 콘솔상에서 편하게 진행할 수 있다.

기존에 centos 7 에서는 yum 을 이용하여 awslogs 라는 프로그램을 설치하여 같은 기능을 사용하고 있었으나

Rockylinux 8 에서는 dnf 패키지가 없는 관계로 RPM 설치를 필요로 한다.

AWS 웹콘솔 에서 IAM 메뉴의 Role (역할) 을 생성 하고 권한을 부여 한다. (중간에 권한은 지정하지 않고 생성 하고 추후 인라인 정책으로 생성 한다.)

인라인 정책을 생성 한다. (생성한 정책이 다른 계정 이나 역할에 공통으로 부여할 필요하 있으면 일반 정책 생성 후 연결 한다.)

{ "Version": "2012-10-17",

"Statement": [

{ "Sid": "VisualEditor0",

"Effect": "Allow",

"Action": [ "logs:CreateLogStream", "logs:DescribeLogStreams", "logs:PutLogEvents" ],

"Resource": [ "arn:aws:logs:ap-northeast-2:*:log-group:*" ]

{ "Sid": "VisualEditor1",

"Effect": "Allow",

"Action": "logs:PutLogEvents",

"Resource": [ "arn:aws:logs:ap-northeast-2:*:log-group:*:*:*" ]

{ "Sid": "VisualEditor2",

"Effect": "Allow",

"Action": "logs:CreateLogGroup",

"Resource": "*"

} ] }

위 json 정책은 ap-northeast-2 (서울) 리전에 로그 를 쌓는 기능만 허용 하는것으로 제한 하였다.

생성된 Role (역할) 을 필요한 EC2에 연결 한다.

위에서 이야기 했지만 yum(dnf) 설치가 RockyLinux 8 에서 되지 않는다. 때문에 AWS 에서 배포 하는 rpm 파일을 가지고 설치를 진행 한다. (amazon-cloudwatch-agent 설치 메뉴얼)

~]$ sudo -i

~]# cd /opt

~]# curl https://s3.amazonaws.com/amazoncloudwatch-agent/redhat/amd64/latest/amazon-cloudwatch-agent.rpm -O

~]# rpm -U ./amazon-cloudwatch-agent.rpm

편리하게 사용하라고 대화식 명령어를 실행 하도록 되어 있다.
/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

하지만 문답 형식의 영어를 읽기도 귀찮고(어렵고) Role (정책)을 부여하여 키없이 로그를 쌓게 하고자 했으나

스크립트에서는 필수적으로 Access Key/Secret Key 를 입력 해야 하는 부분이 있기 때문에 스크립트로 진행이 어렵다.

때문에 /opt/aws/amazon-cloudwatch-agent/bin/config.json 파일을 직접 수정 해 준다. (amazon-cloudwatch-agent 설정 메뉴얼)

{ "agent": {

"metrics_collection_interval": 30,

"run_as_user": "root",

"logfile": "/var/log/aws-cw-agent.logs"

"logs": { "logs_collected": { "files": { "collect_list": [

{ "file_path": "/var/log/messages",

"log_group_name": "XXXX-syslog",

"log_stream_name": "XXXXXXXXXXXX-01_{instance_id}_messages",

"timestamp_format": "%b %d %H:%M:%S"

{ "file_path": "/var/log/secure",

"log_group_name": "XXXX-syslog",

"log_stream_name": "XXXXXXXXXXXX-01_{instance_id}_secure",

"timestamp_format": "%b %d %H:%M:%S"

{ "file_path": "/var/log/httpd/access_log",