카테고리 Archives: linux

AWS SES – SMTP 계정 의 키 변경

AWS SES (Simple Email Service) 는 직접 구축이 어려운 이메일 서비스를 제공한다.

sendmail 으로 SMTP 구성을 사용할 수 있지만 보통 스팸 방지를 위한 여러 솔루션에 의해서 차단이 되기 때문에

직접 sendmail 서비스를 구성하고 서비스 하기 위해서는 광범위한 공부가 필요 하다.

1. sendmail – smtp 구축

2. KISARBL 등록 (이것은 한국의 포털 쪽으로 메일 서비스 원활히 발송하기 위해 필요 하다.)

3. ReverseDNS 등록 (이건 해외 포털 서비스 쪽과 관련이 있다. Internet Service Provider 에서 등록이 가능하다. – KT, SK, U+ 등등..)

4. DKIM, DMARC 설정 (해외 포탈 gmail, yahoo 등등)

아울어서 주기적인 IP 신뢰도 관리를 위해 서버내에서 발송되는 메일을 추적, 통제 해야 한다.

AWS SES 는 월 62,000건 까지는 무료로 발송이 되며 이후 초과 되는 1000개의 메일당 약 100~150원 정도의 비용이 발생 한다.

물론 수신자의 스팸 신고가 많거나(1%) 허위 메일 주소로 발송(5%)되면 메일 발송 서비스가 차단 된다.

메일 발송을 위한 SMTP 계정은 생성을 하게 되면 auth 계정이 할당 되게 되며 사전에 등록된 메일 주소로만 발송을 할 수 있다.

문제는 ID / PW 형식 이기 때문에 유출 되었거나.. 혹은 패스워드 생성일이 오래 되면 보안상 바꾸어 주어야 한다.

AWS – IAM 에서 일반적으로 생성하는 액세스 키는 20글자 시크릿 키는 40 글자 를 차지 한다.

AWS – SES 에서는 SMTP 계정을 만들때 패스워드 길이가 44 글자를 가진다.

즉 SES 메뉴에서 “Create My SMTP Credentials” 생성한 계정을 사용할 수 있다.

그래서 찾아 보니 아래와 같은 메뉴얼을 찾을 수 있었다.

https://aws.amazon.com/ko/premiumsupport/knowledge-center/ses-rotate-smtp-access-keys/

근데 이해는 잘 되지 않는…

종합해보면 기본으로 제공 되는 파이선코드 를 이용하여 컨버팅 해서 써야 한다는 말이다.

시스템 엔지니어링을 하는 입장에서는 생성된 값을 테스트 하고 넘겨 줘야 하는 부분도 있고 python3 전용인 부분도 조금 마음에 안들어서

패스워드 생성 후 SMTP 테스트를 진행 하도록 하였다. ‘ㅅ’a

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import sys

import hmac

import hashlib

import base64

import argparse

import smtplib

import email.utils

from email.header import Header

from email.mime.text import MIMEText

from email.mime.multipart import MIMEMultipart

def smtp_test(frommail, tomail, acckey, seckey, region):

SENDERNAME = 'PySender'

SENDER = frommail

RECIPIENT = tomail

USERNAME_SMTP = acckey

PASSWORD_SMTP = seckey

HOST = "email-smtp." + region + ".amazonaws.com"

PORT = 587

print("SMTP: email-smtp." + region + ".amazonaws.com:"+str(PORT))

print("AUTH: ID="+acckey+" PW="+seckey)

print("From: "+SENDER+" To: "+RECIPIENT)

SUBJECT = 'AWS SES 메일 테스트'

BODY_TEXT = """Amazon SES SMTP Email 테스트

현재 이메일은 Amazone SES 를 통해 발송 되었으며 Python 언어의 smtplib 라이브러리를 사용합니다."""

BODY_HTML = """<html>

<h1>Amazon SES SMTP Email 테스트</h1>

<p>현재 이메일은 Amazone SES 를 통해 발송 되었으며

<a href='https://www.python.org/'>Python</a> 언어의

<a href='https://docs.python.org/3/library/smtplib.html'>smtplib</a> 라이브러리를 사용합니다.

</p>

</body></html>"""

msg = MIMEMultipart('alternative')

msg['Subject'] = Header(SUBJECT, 'utf-8')

msg['From'] = email.utils.formataddr((SENDERNAME, SENDER))

msg['To'] = RECIPIENT

msg.attach(MIMEText(BODY_TEXT, 'plain', 'utf-8'))

msg.attach(MIMEText(BODY_HTML, 'html', 'utf-8'))

try:

server = smtplib.SMTP(HOST, PORT)

server.ehlo()

server.starttls()

server.ehlo()

server.login(USERNAME_SMTP, PASSWORD_SMTP)

server.sendmail(SENDER, RECIPIENT, msg.as_string())

server.close()

res = "Email sent!"

except Exception as e:

res = "Error: " + e

return res

def sign(key, msg):

return hmac.new(key, msg.encode('utf-8'), hashlib.sha256).digest()

def calculate_key(secret_access_key, region):

SMTP_REGIONS = ['us-east-1', 'us-east-2', 'us-west-2', 'us-gov-west-1', 'sa-east-1',

'ap-northeast-1', 'ap-northeast-2', 'ap-southeast-1', 'ap-southeast-2', 'ap-south-1',

'ca-central-1', 'eu-central-1', 'eu-west-1', 'eu-west-2']

if region not in SMTP_REGIONS:

raise ValueError("The "+region+" Region doesn't have an SMTP endpoint.")

signature = sign(("AWS4" + secret_access_key).encode('utf-8'), "11111111")

signature = sign(signature, region)

signature = sign(signature, "ses")

signature = sign(signature, "aws4_request")

signature = sign(signature, "SendRawEmail")

signature_and_version = bytes([0x04]) + signature

if sys.version_info[0] == 2:

signature_and_version = '\x04'.encode('utf-8') + signature

smtp_password = base64.b64encode(signature_and_version)

return smtp_password.decode('utf-8')

def main():

parser = argparse.ArgumentParser(description='AWS IAM Secret Access Key to SMTP password.')

parser.add_argument('AccessKEY', help='AWS IAM - Access Key ID')

parser.add_argument('SecretKEY', help='AWS IAM - Secret Access Key')

parser.add_argument('REGION', help='AWS SES - Region - us-west-2, ap-south-1, etc...')

args = parser.parse_args()

seskey = calculate_key(args.SecretKEY, args.REGION)

print('make SMTP Password complet.')

print('testing send e-mail? (Y/n) ')

read = str(sys.stdin.readline())

if read in ('Y\n', 'y\n'):

print(smtp_test("FROM@메일주소.com", "TO@메일주소.com", args.AccessKEY, seskey, args.REGION))

else:

print("AWS-SES ID: " + args.AccessKEY)

print("AWS-SES PW: " + seskey)

if __name__ == '__main__':

main()

exit(0)

사용 방법은 다음과 같다.

~]# ./aws-iam-secret_2_aws-ses-smtp-password.py [IAM엑세스키] [IAM시크릿키] [SES리전]

~]# ./aws-iam-secret_2_aws-ses-smtp-password.py AKIAUYPWLXWWGIYWWM4Q 3GYODowMLpLHyQxGRluCrpm0v5jatueqctIcwcGz ap-northeast-2

make SMTP Password complet.

testing send e-mail? (Y/n)

AWS-SES ID: AKIAUYPWLXWWGIYWWM4Q

AWS-SES PW: BL9kb7yvHjw+579VGgM9I0tGYaduQO/iRITu4hzqizpm

IAM 아무렇게나 생성된 계정에서는 작동하지 않고, 계정에 ses:SendRawEmail 권한이 부여 되어 있어야 작동 한다. (SES 에서 생성한 계정은 이미 부여가 되어 있을 것임.)

ps. 위에 예시된 엑세스키/시크릿키/SMTP비밀번호는 이 글을 포스팅 한 이후 모두 삭제 했으니까 굳이 테스트 해보지 않으셔도 된다. ‘ㅅ’a

Let’s encrypt 사용 방법 변경

Skipping bootstrap because certbot-auto is deprecated on this system.

Your system is not supported by certbot-auto anymore.

Certbot cannot be installed.

Please visit https://certbot.eff.org/ to check for other alternatives.

신규 서버를 세팅 하고 SSL 추가 했을때 당황스럽게도 위와 같은 메세지를 뿌리며 certbot-auto 가 작동하지 않았다.

certbot-auto 의 경우 실행 시킬때마다 자동 업데이트를 하는데 버전이 1.11 버전으로 되어 있을경우 발생하는 메세지로 확인이 된다.

링크를 따라 갈 경우 snap을 이용해서 설치해서 사용하라고 안내 되어 있다.

snap 은 yum 혹은 apt-get 과 같은 패키지 관리 툴 이다.

CentOS 7.7~8.X 의 경우 epel-release 가 설치 되어 있다면 yum 으로 snap을 설치할 수 있다. (6번 라인은 양반김 처럼 두번 실행해야 할 수 있다.)

~]# yum install snapd

~]# ln -s /var/lib/snapd/snap /snap

~]# systemctl enable --now snapd.socket

~]# snap install core

~]# snap refresh core

이후에 snap 을 이용하여 certbot 을 설치한다.

주의: 기존에 yum 이나 apt-get 혹은 dnf 으로 설치된 certbot은 삭제 하고 진행 해야 한다. (일부 버전에서 심볼링 링크가 안걸리는듯… 하여 8번 라인의 명령어를 추가 실행해야 할 수 있다.)

~]# snap install --classic certbot

~]# ln -s /snap/bin/certbot /usr/bin/certbot

~]# certbot --version

certbot 1.14.0

### 버전이 확인 되지 않는 경우 아래와 같이 심볼릭 링크를 추가 해야 한다.

~]# ln -s /usr/bin/snap /var/lib/snapd/snap/bin/certbot

/usr/bin 안으로 링크를 생성하기 때문에 ssl 발급/삭제을 위해서는 아래 명령어를 사용하면 되겠다.

~]# certbot certonly --server https://acme-v02.api.letsencrypt.org/directory \

--rsa-key-size 4096 --agree-tos --email 이메일@주소 --webroot -w /var/www/html \

-d www.도메인 -d 도메인

~]# certbot revoke --cert-path /etc/letsencrypt/live/도메인/cert.pem

장점이 하나 있는데 snapd 에서 sequence 기능으로 설치된 패키지를 자동으로 최신 업데이트를 하는데

발급된 인증서의 renew 역시 자동으로 처리가 된다. (/var/lib/snapd/sequence/certbot.json)

PS1 . 기존에 git 에서 clone 을 해서 사용한 경우 삭제까지는 필요 없는듯 하고, renew의 경우 메세지는 나오지만 갱신 하는데에는 문제가 없다.

PS2. snap 설치가 되지 않는 리눅스의 경우 certbot-auto 구버전 (1.9.0.dev0) 의 실행파일만 덧씌운뒤 renew 실행하면 당장 급한불을 끌 수 있음.

~]# wget https://raw.githubusercontent.com/certbot/certbot/7f0fa18c570942238a7de73ed99945c3710408b4/letsencrypt-auto-source/letsencrypt-auto -O /opt/certbot-auto

~]# chmod 755 /opt/certbot-auto

~]# mv /opt/certbot-auto /기존설치경로/certbot-auto

PS3. 테스트 해보지 않았으나 acme api를 이용하는 bash, dash, sh 비공식(호환) 스크립트.. https://github.com/acmesh-official/acme.sh

CentOS 7 에서 systemd 의 쓸모 없는 로그를 필터링

시스템 로그 분석을 매주 진행하는데 systemd 에서 아래와 같은 메세지가 많이 표현됨.

Sep 23 00:00:00 HOSTNAME systemd: Started Session XXXXXXXX of user root.

Sep 23 00:00:00 HOSTNAME systemd: Starting Session XXXXXXXX of user root.

Sep 23 00:00:00 HOSTNAME systemd: Removed session XXXXXXXX.

Sep 23 00:00:00 HOSTNAME systemd: Starting User Slice of root.

Sep 23 00:00:00 HOSTNAME systemd: Stopping User Slice of root.

Sep 23 00:00:00 HOSTNAME systemd: Created slice user-X.slice.

Sep 23 00:00:00 HOSTNAME systemd: Removed slice user-X.slice.

Sep 23 00:00:00 HOSTNAME systemd: Starting user-X.slice.

Sep 23 00:00:00 HOSTNAME systemd: Stopping user-X.slice.

로그 분석할때 쓸모가 없기 때문에 rsyslog 에서 예외 적용 한다.

~]# echo 'if $programname == "systemd" and ($msg contains "Removed session" or $msg contains "Starting User Slice of" or $msg contains "Stopping User Slice of" or $msg contains "Created slice" or $msg contains "Removed slice" or $msg contains "Starting user-" or $msg contains "Stopping user-" or $msg contains "Started Session" or $msg contains "Starting Session") then stop' > /etc/rsyslog.d/ignore-systemd-session-slice.conf

~]# systemctl restart rsyslog

출처 : https://access.redhat.com/solutions/1564823

aws ubuntu 18.04 자동 업데이트 끄기

aws 에서 서버운영을 하는데

가장 작은 디스크 크기 8GB 으로 생성하고 1년정도 운영을 했을때 디스크가 초반에 4.XX GB만 사용이 되다가 점점 사용량이 증가 되었음 ‘ㅅ’a

ubuntu 의 경우 자동 업데이트로 꾸준히 커널을 업데이트 하기 때문에 발생하는 문제이고

특정한 서비스 포트만 열고 서비스 하는 서버이기 때문에 업데이트가 필요 없다고 판단되어 자동업데이트를 끄는 것으로…

~]# echo 'APT::Periodic::Update-Package-Lists "0";

APT::Periodic::Download-Upgradeable-Packages "0";

APT::Periodic::AutocleanInterval "0";

APT::Periodic::Unattended-Upgrade "0";' > /etc/apt/apt.conf.d/10periodic

~]# echo 'APT::Periodic::Update-Package-Lists "0";

APT::Periodic::Unattended-Upgrade "0";' > /etc/apt/apt.conf.d/20auto-upgrades

이후 apt-get 을 이용하여 불필요한 패키지를 삭제한다 ‘ㅅ’a

1	~]# apt-get autoremove

linux-headers가 업데이트가 된 경우 재 부팅 이후에 autoremove를 해야할 수 있다.

혹은 너무 쌓여서 broken 이 된경우 /usr/src 에서 사용되고 있는 headers 를 제외하고 삭제를 해야 할 수 있겠다 ‘ㅅ’a

nginx 에서 특정 국가 와 IP 허용 하기 (centos7)

nginx 에서 IP를 제한 하는 방법은 아래와 같다.

server {

listen 80;

root /path/dir/;

location / {

allow 111.111.111.111/32;

deny all;

}

허용된 IP 외에는 403 에러가 발생한다.

아래는 허용된 IP 및 특정한 국가 코드(KR,SG) 와 IP (111.111.111.111)를 허용 하는 방법이다.

map $geoip_country_code $allowed_countrys {

KR 1;

SG 1;

}

geo $remote_addr $allowed_ips {

127.0.0.1 1;

111.111.111.111/32 1;

}

server {

listen 80;

root /path/dir/;

location / {

if ($allowed_countrys = 1) {

set $allowed_ips "1";

}

if ($allowed_ips != 1) {

return 403;

}

위에서 map $geoip_country_code 를 활용하기 때문에 아래와 같이

nginx 에서 GeoIP.dat 를 불러와야 한다.

http {

....;

geoip_country /usr/share/GeoIP/GeoIP.dat;

....;

}

GeoIP.dat 는 아래와 같이 설치를 해야 한다.

1	yum install GeoIP nginx-module-geoip

GeoIP data 파일은 주기적인 업데이트를 해야 한다. (매월 초 업데이트 된다.)

#!/bin/bash

##############################################################################################

# GeoIP legacy dat files build from mmdb.

# at CRON => 00 06 07 * * bash /usr/share/GeoIP/geoip_dat_update_from_mmdb.sh

# by Enteroa ( enteroa.j@gmail.com )

##############################################################################################

REPLACEDATA="30"

### config - DISABLE city it'll be need free memory 2GB

CITYDATA="N"

### avoid overlap

lockfile=/var/lock/$(basename $0)

if [ -f $lockfile ];then

P=$(cat $lockfile)

if [ -n "$(ps --no-headers -f $P)" ];then

exit 1

echo $$ > $lockfile

trap 'rm -f "$lockfile"' EXIT

### install dependances

if [[ -z $(which git) ]];then sudo yum -y install git > /dev/null 2>&1 ;fi

if [[ -z $(which pip) ]];then sudo yum -y install python2-pip > /dev/null 2>&1;fi

if [[ -z $(pip list|grep pygeoip) ]];then sudo pip install pygeoip > /dev/null 2>&1 ;fi

if [[ -z $(pip list|grep ipaddr) ]];then sudo pip install ipaddr > /dev/null 2>&1 ;fi

### link path for iptables(xt_geoip)

GEOIPDIR="/usr/share/GeoIP"

DATALINK="/usr/share/xt_geoip /var/lib/GeoIP"

if [[ ! -d $GEOIPDIR ]];then

mkdir -p $GEOIPDIR

for a in $DATALINK

if [[ ! -d $a ]];then

if [[ $(readlink $a) != $GEOIPDIR ]];then

rm -rf $a;ln -s $GEOIPDIR $a

fi;fi

done

### https://github.com/sherpya/geolite2legacy

cd $GEOIPDIR

if [ ! -e $GEOIPDIR/geolite2legacy/geolite2legacy.py ];then

git clone https://github.com/sherpya/geolite2legacy.git

### make GeoIP.dat files

if [ -d $GEOIPDIR/geolite2legacy ];then

cd $GEOIPDIR/geolite2legacy

COUNTRY="GeoLite2-Country-CSV.zip"

CITY="GeoLite2-City-CSV.zip"

if [[ -z $(find $GEOIPDIR/geolite2legacy -maxdepth 1 $ -name $COUNTRY -o -name $CITY $ -mtime +$REPLACEDATA) ]];then

rm -f $COUNTRY $CITY

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country-CSV.zip" > /dev/null 2>&1

if [[ $CITYDATA == "Y" ]];then

wget "https://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip" > /dev/null 2>&1

if [ -e $GEOIPDIR/geolite2legacy/$COUNTRY ];then

python geolite2legacy.py --input-file $COUNTRY --fips-file geoname2fips.csv --output-file GeoIP.dat

python geolite2legacy.py --input-file $COUNTRY -6 --fips-file geoname2fips.csv --output-file GeoIPv6.dat

if [[ $CITYDATA == "Y" ]];then

python geolite2legacy.py --input-file $CITY --fips-file geoname2fips.csv --output-file GeoLiteCity.dat

python geolite2legacy.py --input-file $CITY -6 --fips-file geoname2fips.csv --output-file GeoLiteCityv6.dat

if [ -e GeoIP.dat ];then

find $GEOIPDIR -maxdepth 1 -type f -name "*.dat" -mtime +$REPLACEDATA -exec rm -f {} \;

if [[ $CITYDATA == "Y" ]];then

mv -f Geo{IP,IPv6,LiteCity,LiteCityv6}.dat $GEOIPDIR/ > /dev/null 2>&1

else

mv -f Geo{IP,IPv6}.dat $GEOIPDIR/ > /dev/null 2>&1

fi;fi;fi

unset GEOIPDIR DATALINK CITY COUNTRY CITYDATA REPLACEDATA

exit 0

cron 에서는 매월 7일 오전 6시에 실행 하도록 처리하였다.

1 2	### GeoIP.dat - update 00 06 07 * * bash /usr/share/GeoIP/geoip_dat_update_from_mmdb.sh