태그 Archives: HTTP/2

apache 2.4.27 버전 이상에서 Segmentation fault 오류가 발생.

apache 2.4.26 이하 버전에서 Important 취약점인 CVE-2017-9788, CVE-2017-9789 가 존재 하기 때문에

apache 버전을 최신화 한뒤에 apache error_log 에서 간헐적인 접속 끊김 증상이 확인이 되었다.

Segmentation fault, memory corrupted – core dump 에 의한 apache child 프로세스의 강제 exit 가 된다.

[Wed Mar 27 15:03:41.085336 2019] [core:notice] [pid 3936:tid 139993855101120] AH00051: child pid 31653 exit signal Aborted (6)

[Wed Mar 27 15:38:24.149597 2019] [core:notice] [pid 3936:tid 139993855101120] AH00051: child pid 32428 exit signal Segmentation fault (11)

이와 같은 경우 메인 프로세스는 살아 있는 상태에서 child 가 죽는 현상이다 보니 실제 apache 는 설정에 따라

부족한 child 프로세스를 다시 생성하기 때문에 발생하고 있지만 모르고 있을 수 있다. – apache – error_log 를 꼭 점검해봐야 한다.

내용 추적이 되지 않아 한동안 고생을 하다가 이 에러가 특정한 상황에서만 발생하는것을 확인하였다.

조건1. https 프로토콜 사용

조건2. http/2 사용

조건3. mpm_worker 혹은 mpm_event 사용 (event 에서 더 심하게 발생함.)

조건4. mod_php 사용

기존에 apache 2.4.27 부터 worker 가 기본 mpm 이 되었고,

어떤 버전인지 부터는 모르지만 최신 버전의 2.4.38 버전은 event mpm 이 기본값으로 설정이 된다.

이를 prefork 방식으로 변경해서 운영을 해도 되지만 이럴 경우 http/2 는 지원이 되지 않는다.

기본이 event mpm 일 경우 권장 되는 운영 환경은 apache 2.4 – fcgi_proxy – php-fpm 구조이다.

다만 php-fpm 의 경우 tomcat 처럼 별도의 WAS 환경이기 때문에 익숙치 않고 설정법을 새롭게 배워야 하는 단점이 존재 한다.

변경을 하는것은 맞는 방향이겠지만 이는 충분한 시간이 주어져야 한다는 단점이 존재한다.

하지만 서버는 당장에 문제가 발생하고 있기 때문에..

때문에 임시 방편으로 아래와 같은 설정(H2MaxWorkers)을 추가 하여 오류를 방지 하고 시간을 벌도록 한다. ‘ㅅ’a

ProtocolsHonorOrder On

Protocols h2 h2c http/1.1

H2MaxWorkers 1

</IfModule>

H2MaxWorkers 설정을 1로 할경우 mpm_worker 의 경우 속도 저하가 체감이 될정도 이기 때문에 mpm_event 로 운영을 하도록 한다.

mpm 설정은 ……./httpd/conf.modules.d/00-mpm.conf 에 존재 한다.

# Select the MPM module which should be used by uncommenting exactly

# one of the following LoadModule lines. See the httpd.service(8) man

# page for more information on changing the MPM.

# prefork MPM: Implements a non-threaded, pre-forking web server

# See: http://httpd.apache.org/docs/2.4/mod/prefork.html

# NOTE: If enabling prefork, the httpd_graceful_shutdown SELinux

# boolean should be enabled, to allow graceful stop/shutdown.

#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

# worker MPM: Multi-Processing Module implementing a hybrid

# multi-threaded multi-process web server

# See: http://httpd.apache.org/docs/2.4/mod/worker.html

#LoadModule mpm_worker_module modules/mod_mpm_worker.so

# event MPM: A variant of the worker MPM with the goal of consuming

# threads only for connections with active processing

# See: http://httpd.apache.org/docs/2.4/mod/event.html

LoadModule mpm_event_module modules/mod_mpm_event.so

현재 apache 의 mpm 은 아래 명령어로 확인할 수 있다.

~]# httpd -V

Server version: Apache/2.4.38

Server loaded: APR 1.5.2, APR-UTIL 1.5.2

Compiled using: APR 1.5.2, APR-UTIL 1.5.2

Architecture: 64-bit

Server MPM: event

threaded: yes (fixed thread count)

forked: yes (variable process count)

webtatic 저장소를 이용한 php 7 설치

php 는 httpd 의존이기 때문에 php를 설치하는것만으로 httpd 가 설치 된다.
즉 httpd 먼저 설치하고 php를 설치해야 한다.

webtatic의 php 는 기본적으로 nts 이며 apache 가 prefork mpm 이 아닐 경우(worker, event) zts 모듈이 로딩이 되므로 매우 편리하게 사용할 수 있다.
아울러 yum을 이용한 설치이기 때문에 더 훌륭하다 =3=b

레포지트리 설치

1	~]# rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm

php7 설치

1	~]# yum -y install php70w php70w-bcmath php70w-cli php70w-common php70w-intl php70w-devel php70w-gd php70w-mbstring php70w-mcrypt php70w-mysqlnd php70w-opcache php70w-pdo php70w-pear php70w-soap php70w-xml

httpd 의 mpm 방식은 아래와 같이 확인한다.

~]# httpd -V

Server version: Apache/2.4.27 (centos)

Server built: Sep 7 2017 17:44:04

Server's Module Magic Number: 20120211:68

Server loaded: APR 1.5.2, APR-UTIL 1.5.2

Compiled using: APR 1.5.2, APR-UTIL 1.5.2

Architecture: 64-bit

Server MPM: worker

threaded: yes (fixed thread count)

forked: yes (variable process count)

Server compiled with....

...

httpd -V 의 값에서 MPM 이 worker 로 확인 되었기 때문에 cron 등에 등록을 하려면 zts-php 명령어를 써야 한다.
worker 방식은 메모리를 적게 쓰지만 다종의 웹솔루션을 운영하기엔 적합하지 않다.
다만 apache 2.4.27 에서 부터 http/2 를 지원하는데 있어서 profork 방식을 더 이상 지원하지 않는다.

서버에서 php 명령어 실행은 아래와 같이 한다.

~]# php -v

PHP 7.0.22 (cli) (built: Aug 9 2017 18:23:24) ( NTS )

~]# zts-php -v

PHP 7.0.22 (cli) (built: Aug 9 2017 18:28:49) ( ZTS )

[root@MGB-v2-DAC01 oci8-2.1.7]#

httpd를 worker MPM 으로 설치 하고 webtatic 제공의 php 를 설치한 서버에서 오라클 접속을 사용하기 위해 oci8 익스텐션 설치 진행은 아래와 같이 진행 했다.
phpize, config-php 역시 각각 zts-phpize, zts-php-config 의 것을 사용한다.

~]# rpm -i oracle-instantclient12.2-basic-12.2.0.1.0-1.x86_64.rpm

~]# rpm -i oracle-instantclient12.2-devel-12.2.0.1.0-1.x86_64.rpm

~]# pecl download oci8-2.1.7.tgz

~]# tar xvfpz oci8-2.1.7.tgz

~]# cd oci8-2.1.7/

~]# zts-phpize

~]# ./configure --with-php-config=/usr/bin/zts-php-config --with-oci8=shared,instantclient,/usr/lib/oracle/12.2/client64/lib/

~]# make

~]# make install

~]# echo 'extension=oci8.so' > /etc/php-zts.d/oci8.ini

~]# apachectl restart

설치된 oci8 은 웹문서에서 phpinfo(); 로 호출하거나 리눅스 쉘에서 아래와 같이 확인이 가능하다.

~]# zts-php -i|grep oci8

oci8

oci8.connection_class => no value => no value

oci8.default_prefetch => 100 => 100

oci8.events => Off => Off

oci8.max_persistent => -1 => -1

oci8.old_oci_close_semantics => Off => Off

oci8.persistent_timeout => -1 => -1

oci8.ping_interval => 60 => 60

oci8.privileged_connect => Off => Off

oci8.statement_cache_size => 20 => 20

PS. webtatic 에서는 php70w-odbc를 제공 하므로 yum 설치로 odbc를 이용할 수 있다.

CentOS6 php-4.3.11 with apache 2.4

먼저 아파치 2.4 및 DB는 사전에 서버 구축이 되어 있다는 가정하에 출발한다 ‘ㅅ’a
php 4.3 혹은 4.4.의 경우 배포툴을 까봤을때 apache 1.x 혹은 apache 2.0.x 와 호환되도록 되어 있다.

일반적인 웹서비스를 구성할수 있는 extension 을 포함한 설치 방법이다.

~]# cd /opt

~]# wget http://museum.php.net/php4/php-4.3.11.tar.gz

~]# tar xfzp php-4.3.11.tar.gz

문제점은 아래와 같다. –

CentOS6에 포함된 openssl-1.0.1e , curl 버전 충돌 이난다. 그리고 apache MPM 정상인식 불가에 따른 configure 수정이 필요하다.
shutdown-patch 는 snmp 공격에 의해 error_log 가 난잡해지는것을 방지하는 패치이다

~]# cd php-4.3.11

~]# wget http://www.enteroa.com/extra_files/php-4.3.11-shutdown-patch.diff

~]# wget http://www.enteroa.com/extra_files/php4-apache24.patch

~]# patch -p1 < php-4.3.11-shutdown-patch.diff

~]# patch -p0 < php4-apache24.patch

위 패치파일을 받아 패치를 한뒤에 컴파일을 진행한다.

~]# ./configure --prefix=/usr/local/php \

--with-mysql=/usr/local/mysql \

--with-apxs2=/usr/local/apache/bin/apxs \

--with-png-dir=/usr/lib64 \

--with-zlib-dir=/usr/lib64 \

--with-gif-dir=/usr/lib64 \

--with-freetype-dir=/usr/lib64 \

--with-jpeg-dir=/usr/lib64 \

--with-config-file-path=/usr/local/apache/conf \

--with-mod-charset \

--with-language=korean \

--with-charset=euc_kr \

--with-libidn \

--with-gdbm \

--with-iconv \

--with-mcrypt \

--with-mhash \

--with-gettext \

--with-ttf \

--with-kerberos \

--with-curl \

--with-db \

--with-idn \

--with-gd \

--with-png \

--with-zlib \

--with-xml \

--with-openssl \

--enable-modules=so \

--enable-idn \

--enable-exif \

--enable-trans-sid \

--enable-wddx \

--enable-dbx \

--enable-dbase \

--enable-mbstr-enc-trans \

--enable-mbregex \

--enable-mbstring \

--enable-magic-quotes \

--enable-calendar \

--enable-sockets \

--enable-ftp \

--enable-gd-imgstrttf \

--enable-track-vars \

--enable-bcmath \

--enable-force-cgi-redirect \

--enable-sigchild \

--disable-debug

~]# make

~]# make install

~]# libtool --finish /opt/php-4.3.11/libs

–with-ldap 과 –with-imap 은 포함시 해결이 되지 않아 제거 하였다 ‘ㅅ’a
그다음 아파치 구동을 한다 ‘ㅅ’a

그렇다.. 이 테스트의 목적은 PHP-4.x 기반의 HTTP/2 구현이 주목적…
부가적으로 각종 웹, OS 취약점 등등이 패치된 구형 php가 구동 가능한 서버를 구축할 수 있다.

크롬에서의 HTTP/2 사용확인은 아래의 주소를 별도의 탭에 띄워두고 사이트 접속을 하면 현재 유지되는 커넥션의 정보를 확인할 수 있다.
chrome://net-internals/#http2

apache 2.4.x HTTP/2적용

SPDY ( Stream Control Transmission Protocol )

HTTP/2 로 전환 되기 전 google 이 진행했던 웹 가속 프로토콜로 https 기반의 프로토콜 서비스로 현재는 HTTP/2에 흡수되어 개발이 종료 되었음.
SPDY 지원 가능 브라우져 사용율( 77.39% ) ( 2016년에 chrome에서 지원 제거될 예정 )

HTTP/2 ( HyperText Transfer Protocol 2 )

프로토콜 선언 h2, h2c 가 존재함 ( 좀더 확장 가능성 있음 )

h2의 경우 https 프로토콜 http/1.1 을 http/2 프로토콜로 사용이 가능
h2는 SSL인증서를 통한 TLS 암호화를 통해 헤더를 압축 전송한다.
단점: 브라우져 지원에 차이가 있음 (h2 HTTP/2 지원 가능 브라우져 사용률 = 70.15%)
Internet Explorer 11 지원 (윈도우 10만 지원)
EDGE 지원
EDGE mobile 지원
Firefox 36이상
Firefox for Android 45이상
Chrome 41이상
Chrome for android 49 이상
Safari(OSX 10.11) 9 이상
Safari(iOS) 9.2이상
Opera Software Opera 28 이상
Opera Software Opera mobile 36 이상
결론: 보편적 HTTPS 서비스가 된다는 조건하에 구현 가능( let’s encrypt )

h2c의 경우 http 프로토콜 http/1.1 을 http/2 프로토콜로 전환 가능
h2c는 인증서없이 보편적 웹 프로토콜을 목표로 하기 때문에 base64로 압축 전송을 한다.
단점: 지원하는 브라우져가 현재(2016-04-07) 없음
결론: 구현 방법이 쉽지만 지원하는 브라우져가 없음 (현재 curl 7.43 버전 지원 )

아파치 2.4.17 버전 부터 DSO 모듈로( mod_http2.so ) HTTP/2를 지원 한다.

CentOS 6.x 대에서의 적용 방법에 대한 문서 이다.

먼저 CentOS 6.x 의 경우 기본적으로 openssl-1.0.1 이 설치 되므로 1.0.2 버전을 별도 컴파일 해야 한다.
( https://www.openssl.org/source )

~]# cd /opt

~]# wget https://www.openssl.org/source/openssl-1.0.2h.tar.gz

~]# tar xvfzp openssl-1.0.2h.tar.gz

~]# cd openssl-1.0.2h

~]# ./config --prefix=/usr/local/openssl shared zlib

~]# make

~]# make install

~]# rm -rf /usr/local/openssl/ssl/certs

~]# ln -s /etc/pki/tls/certs /usr/local/openssl/ssl/certs

~]# ln -s /etc/pki/tls/certs/ca-bundle.crt /usr/local/openssl/ssl/cert.pem

~]# echo /usr/local/openssl/lib > /etc/ld.so.conf.d/openssl.conf

~]# ldconfig

이후 의존성인 nghttp2 를 설치한다 epel-release 에 있기 때문에 yum 에 repo 추가가 되어 있어한다.

1	~]# yum install nghttp2 libnghttp2-devel

Centos6 에 apache 2.4 설치의 경우 apr, apr-util, pcre 버전을 별도 컴파일 해야 설치 할 수 있다.
( https://apr.apache.org/download.cgi / ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre )

~]# cd /opt

~]# wget http://apache.mirror.cdnetworks.com/apr/apr-1.5.2.tar.gz

~]# wget http://apache.mirror.cdnetworks.com/apr/apr-util-1.5.4.tar.gz

~]# wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz

~]# tar xfzp apr-1.5.2.tar.gz

~]# cd ./apr-1.5.2

~]# ./configure

~]# make && make install

~]# cd ..

~]# tar xfzp apr-util-1.5.4.tar.gz

~]# cd ./apr-util-1.5.4

~]# ./configure --with-apr=/usr/local/apr

~]# make && make install

~]# cd ..

~]# tar xfzp pcre-8.38.tar.gz

~]# cd ./pcre-8.38

~]# ./configure

~]# make && make install

~]# cd ..

이후 아파치를 컴파일 한다. 여기서는 apache 2.4.20 버전을 설치 하였다. ( http://httpd.apache.org )

~]# cd /opt

~]# wget http://mirror.navercorp.com/apache/httpd/httpd-2.4.20.tar.gz

~]# tar xvfzp httpd-2.4.20.tar.gz

~]# cd httpd-2.4.20

~]# ./configure \

--prefix=/usr/local/apache \

--with-mpm=prefork \

--enable-cache \

--enable-mem-cache \

--enable-deflate \

--enable-expires \

--enable-cgi \

--enable-vhost-alias \

--enable-rewrite \

--enable-so \

--enable-mime-magic \

--enable-mods-shared=all \

--enable-module=shared \

--enable-ssl \

--enable-http2 \

--with-ssl=/usr/local/openssl \

--with-apr=/usr/local/apr \

--with-apr-util=/usr/local/apr

~]# make

~]# make install

이후 httpd.conf 에서 http2_module을 주석 해제 하고 httpd-ssl.conf를 HTTP/2를 지원하도록 수정 한다.

LoadModule http2_module modules/mod_http2.so

ProtocolsHonorOrder On

Protocols h2 h2c http/1.1

</IfModule>

SSLProtocol ALL -SSLv2 -SSLv3

SSLCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"

SSLProxyCipherSuite "EECDH+AES128:EECDH+AES256:+SHA:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:RSA+3DES:!DSS"

SSLHonorCipherOrder on

파이어 폭스 > 디버그 모드 > 네트워크 에서 헤더 확인을 할경우 HTTP/2.0 을 확인할 수 있다.