데이터베이스 마이그레이션

EUC-KR 에서 UTF-8 로 DB마이그레이션을 진행할때 캐릭터셋 전환에 따라 일부 문자가 유실 되거나 깨지게 되어 dump된 파일의 복구가 곤란한 경우가 발생하였다.

sql은 복원중 에러가 발생을 할경우 하위 내용을 복구를 하지 않기 때문에..
이러한 경우 보통 sql 파일을 하나하나 수정해가면서 다시 부어넣는 짓을 해야한다 =_=a

DB용량이 작다면 하나하나 수정해줄수 있지만 100M단위를 넘어가는 파일을 변경하긴 어렵다.
때문에 테이블 생성정보와 데이터를 따로 따로 백업을 하고 먼저 테이블을 생성한뒤에 복구하는 방법을 쓰기로 하고 스크립트를 작성하였다.

1 2	~]# mysqldump -u아이디 -p 데이터베이스명 --add-drop-database -d > 테이블.sql ~]# mysqldump -u아이디 -p 데이터베이스명 --skip-extended-insert --no-create-info -c > 데이터.sql

위와 같이 원본서버에서 백업을 할때 데이터를 분리 한뒤에 iconv를 이용해서 캐릭터셋 치환을 하고 캐릭터셋 선언을 바꾸어 준다.

~]# sed -i 's/DEFAULT CHARSET=euckr/DEFAULT CHARSET=utf8/g;1 i\SET NAMES UTF8;' 테이블.sql

~]# iconv -fEUCKR -tUTF8 -c 테이블.sql > 새테이블.sql

~]# iconv -fEUCKR -tUTF8 -c 데이터.sql > 새데이터.sql

이중 -c 옵션은 에러가 나는 문자열을 제외하고 치환하는 옵션이다.
가급적 에러가 나지 않는게 좋겠지만 ‘ㅅ’…

새로운 데이터 베이스에 먼저 테이블 복원을 한다.

1	~]# mysql -u[아이디] -p [데이터베이스명] < 새테이블.sql

아래와 같은 스크립트작성을 한 뒤에 실행한다.

#!/bin/bash

sqlfile="새데이터.sql"

IFS=$'\n'

for a in $(grep ^INSERT $sqlfile)

mysql -u[아이디] -p[데이터베이스패스워드] [데이터베이스명] -s -N -e "$a"

if [[ $? -eq 1 ]];then

echo $c >> error_query.sql

done

IFS 를 통해 구분자를 엔터(\n) 으로 지정한뒤 for 문을 돌려 한줄한줄 복원을 시도 하고
에러가나는 구분은 error_query.sql 파일로 별도 저장을 한다.

추후 error_query.sql 파일을 분석하여 쿼리문을 완성 시켜 재 복원을 하거나… 버리거나.. 할수 있겠다.

테이블 복원중 VARCHAR(255) UTF8 is too long for key, but max length is 1000 bytes 가 나오는 경우가 발생할수 있다.

key로 사용되는 컬럼의 길이가 1000byte를 넘어가면 안된다는 메세지 이다.
(Mysql에서 UTF8의 경우 문자당 3byte 를 사용한다 – utf8mb4 = 4Byte 를 쓴다..)

이경우 key로 사용되는 컬럼의 varchar 값을 최대치인 333이하를 쓰도록 한다.
일반적으로 2개 이상의 컬럼은 하나의 키로 사용하는 부분에서 에러가 난다. 그때는 사용된 컬럼의 합이 333 이하여야 하겠다.

utf8mb4의 경우에는 200 이하로 해야겠고.. 그래서 대략 아래와 같이… 큰 varchar 컬럼을 앞95자까지 인식하도록 하게 한다.

컬럼A varchar(255)

컬럼B varchar(255)

KEY `키명` (`컬럼A`(95),`컬럼B`(95)),

mariaDB yum을 이용한 설치 ( CentOS 7 )

https://downloads.mariadb.org/mariadb/repositories

위 주소에서 먼저 맞는 OS 버전 및 설치할 mariaDB 선택한다 ‘ㅅ’a

그후 나오는 내용을 레포지트리에 추가를한다.

~]# echo "# MariaDB 10.1 CentOS repository list - created 2016-11-14 06:56 UTC

# http://downloads.mariadb.org/mariadb/repositories/

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/10.1/centos7-amd64

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1" >> /etc/yum.repos.d/MariaDB.repo

그담 yum 으로 설치 고고싱.

1	~]# yum install MariaDB-server MariaDB-client

초기 mysql 데이터폴더는 /var/lib/mysql 에 있다.
그래서 data 폴더를 이동하게 되는 경우에는 저 폴더를 다른 위치 및 이름으로 변경을 한다.
물론 /etc/my.cnf 에서 아래 부분을 찾아 고치는것도 병행해야 한다.
운영하려는 캐릭터셋에 맞게 설정을 추가하는것도 잊지 말자 (latin1 으로 깔리기 때문에….)

[client]

default-character-set = utf8

socket = /tmp/mysql.sock

[mysql]

default-character-set = utf8

[mysqld]

character-set-server = utf8

collation-server = utf8_general_ci

datadir = /var/lib/mysql

socket = /tmp/mysql.sock

[mysqldump]

default-character-set = utf8

datadir에 selinux 설정을 한다

~]# semanage permissive -a mysqld_t

~]# semanage fcontext -a -t mysqld_db_t "/var/lib/mysql(/.*)?"

~]# restorecon -Rv /var/lib/mysql

~]# semanage permissive -a mysqld_t

이후에 데몬 자동시작 등록 및 시작을 한다.

~]# mysql_install_db --datadir=/var/lib/mysql

~]# systemctl start mysqld

~]# systemctl enable mysqld

mysql 명령어로 mysql 에 로그인을 한뒤에 root 패스워드를 지정하고
보안을 고려하여 user 등이 비어있는 로그인정보 및 test 데이터베이스를 삭제해야 한다.

~]# mysql

MariaDB [mysql]> SET PASSWORD FOR root@localhost = PASSWORD('mysqladminpassword');

MariaDB [mysql]> FLUSH PRIVILEGES;

MariaDB [mysql]> USE mysql

MariaDB [mysql]> DELETE FROM user WHERE User='';

MariaDB [mysql]> DELETE FROM user WHERE Password='';

MariaDB [mysql]> DELETE FROM db WHERE User='';

MariaDB [mysql]> DROP DATABASE test;

CentOS6 에서 php7 – memcache 설치

php7 버전에서는 pecl 을 이용하여 pecl-php-memcache 를 사용할수 없다.

php7에서 memcached 를 이용하시 위해서는 php-memcached 를 사용한다.
이프로그램을 필수 라이브러리로 libmemcached, libmemcached-devel 를 필요로 한다.

라이브러리설치는 CentOS7 의 경우 yum으로 설치진행을 할 수 있다. ( libmemcached-devel-1.0.16-5.el7.x86_64 )

1	~]# yum install libmemcached libmemcached-devel

다만 CentOS6에서는 yum 설치를 할경우 어이없이 낮은 버전인 0.31 이 설치되어 php-memcached 를 설치 할 수 없다.
때문에 별개의 패키지를 다운 받아 RPM 설치를 해야 한다.

~]# wget http://mirror.ghettoforge.org/distributions/gf/el/6/plus/x86_64/libmemcached-1.0.16-2.gf.el6.x86_64.rpm

~]# wget http://mirror.ghettoforge.org/distributions/gf/el/6/plus/x86_64/libmemcached-devel-1.0.16-2.gf.el6.x86_64.rpm

~]# wget http://mirror.ghettoforge.org/distributions/gf/el/6/plus/x86_64/libmemcached-libs-1.0.16-2.gf.el6.x86_64.rpm

~]# rpm -Uvh libmemcached-libs-1.0.16-2.gf.el6.x86_64.rpm

~]# rpm -Uvh libmemcached-1.0.16-2.gf.el6.x86_64.rpm

~]# rpm -Uvh libmemcached-devel-1.0.16-2.gf.el6.x86_64.rpm

php-memcached 설치방법.

~]# git clone https://github.com/php-memcached-dev/php-memcached.git

~]# cd php-memcached

~]# git checkout php7

~]# /usr/local/php/bin/phpize

~]# ./configure --with-php-config=/usr/local/php/bin/php-config

~]# make && make install

아래와 같이 설치된 so파일을 불러오도록 설정하고

[memcached]

extension=memcached.so

memcache.allow_failover="1"

memcache.max_failover_attempts="20"

memcache.chunk_size="8192"

memcache.default_port="11211"

php.ini 파일에 session 생성을 memcache를 쓰도록 한다.

;session.save_handler = files

session.save_handler = "memcache"

session.save_path = "127.0.0.1:11211"

이후 php 에서는 세션 스타트 후에 session_regenerate_id 을 호출해야 한다.

<?php

session_start();

session_regenerate_id(true);

PS. 별도 세션폴더를 지정하여 쓰는 프로그램의 경우 오류가 난다.( 그누보드등 )

bash 에서의 멀티 쓰레드 구현

bash 는 단순히 순차 실행이 되는 구조이기 때문에 일반적으로 싱글 쓰레드로 볼 수 있다 ‘ㅅ’a
하지만 실행속도 향상을 위해 다중실행하는것이 유리 하다면 그렇게 만들면 되겠다 ‘ㅅ’a

리눅스는 기본적으로 프롬프트에서 background 실행을 할수 있다.
보통 백업을 할때 ‘ㅅ’a

1	~]# tar czfp backup.tgz 경로/파일 &

이걸 응용하여 단순실행용 스크립트와 여러 명령어를 실행하는 스크립트를 두개를 만들어서 구성 해야 하겠지만..

#!/bin/bash

##########################################################################################

# 멀티쓰레드 구현 #

# main in enteroa_j@naver.com #

##########################################################################################

th="8" # 동시 생성할 최대 쓰레드 숫자 지정 #

list=( 10 5 8 2 3 9 1 2 5 3 9 2 5 )

for a in ${list[@]}

do j_count=`jobs -l|wc|awk '{print $1}'`

if [[ $j_count -ge $th ]];then

until [[ $j_count -lt $th ]]

do j_count=`jobs -l|wc|awk '{print $1}'`

sleep 0.1

done

###########################################

# threads 에 명령 넘기는 부분.

sleep $a &

###########################################

done

lastPIDs=`jobs -l|awk '{print $2}'`

wait $lastPIDs

echo "";echo "work complet."

여기서는 list 어레이에 선언된 숫자 값을 각 쓰레드에서 sleep 하는걸로…..
최대 리미트 $th 에 선언된 8의 갯수 만큼 동시실행을 하고 기존 프로세스들이 종료될 경우 추가 실행을 하도록 하였다 ‘ㅅ’a

백그라운드로 돌아가는 명령어
이를 확인하는 jabs 명령어
프로세스 종료를 기다리는 wait 명령어

위와 같은 명령어 조합으로 멀티쓰레드 구현이 간단히 되었다. 🙂

8쓰레드 의 단순 성능향상은 8배 이겠지만 단순히 8개 동시 실행을 하고 먼저 실행된 애들이 종료되면 순차실행을 하기 때문에..
에러이 선언된 시간들은 총 64초 이지만 멀티쓰레드 구현을 했을때에는 14초가 걸릴것이다 ‘ㅅ’a

PS. 싱글쓰레드에서 4분 56초 걸리는 작업 ( BIND[named.conf/zone] -> Pdns query )을 멀티쓰레드로 구현했을때 1분 44초가 걸렸다 ‘ㅅ’a

yum에 대해서…

CentOS 및 redhat 계열을 쓰면서 안써본사람은 없은 yum
기본적으로 yum은 배포 패키지를 설치하는 명령어 이다 ‘ㅅ’a

/etc/yum.repos.d/ 폴더에 위치하는 레포지트리에 입려된 주소를 참조하여
패키지를 검색하고 검색된 패키지를 설계도에 맞게 설치하는 역할을 한다.

그럼 레포지트리는 무엇이냐 ‘ㅅ’a
A레포지트리에서 ccc 라는 패키지를 설치 할때 서버에 설치되는 위치와
B레포지트리에서 ccc 라는 패키지를 설치할때의 위치가 틀리다.

각 레포지트리에 따라서 설치되는 패키지의 버전역시 틀려진다.
A 레포지트리에서는 버전 1.0.0 을 /usr/share/ 폴더에 설치 하지만
B 레포지트리에서는 버전 2.0.0 을 /usr/include/ 폴더에 설치 할 수 있다.

즉 레포지트리라는 것은 설계도면을 배포하는 곳 정도로 인식을 하면 비교적 정확하다고 생각된다.

구글신은 많은것을 알려주지만 각각의 엔지니어 특성에 따라 주로 쓰는 레포지트리는 틀릴 수 있다.
때문에 하나의 메뉴얼을 따라 하다가 안된다고 다른 메뉴얼을 따라하다가는 시스템이 엉망으로 꼬일 수 도 있다.
( 물론 두 메뉴얼이 같은 레포지트리를 이용한 메뉴얼이라면 좀 덜꼬이겠다.. )

yum 은 아래와 같은 사용방법으로 일반적인 사용을 한다.

~]# yum install [package_name]

~]# yum reinstall [package_name]

~]# yum remove [package_name]

또한 설치된 패키지의 새 설계도면에 따른 업데이트도 할수 있다.

~]# yum check-update [package_name]

~]# yum update [package_name]

또는 아래 명령어로 모든 설치패키지를 업데이트 할수도 있다 ( 심지어 커널업데이트 까지 )

1	~]# yum update

그리고 뭔가 설치해야할 명령어(ex ftpwho)가 있다면 아래와 같은 방법으로 명령어를 포함하는 패키지를 검색을 할수도 있다.

1	~]# yum whatprovides '*/ftpwho'

최종적으로 귀찬이즘이 극에 달한 엔지니어는 yum 업데이트를 주기적으로 하는게 싫어서
아래와 같은 방법으로 자동 업데이트 데몬을 운영할수도 있다. ( 이건 아직 나도 안해봤음… )

~]# yum install yum-cron

~]# chkconfig yum-cron on

~]# service yum-cron start