멀티코더 CPU의 처리 성능 향상을 위해 아래와 같이 OS 부팅 파라메터인 NUMA 파라메터를 비활성할 수 있다.

NUMA 설정 변경 후 OS를 리부팅 해야 한다.

자세한 NUMA 파라메터 설명은 레드햇 사이트를 참조하기 바란다.

AUTOMATIC NUMA BALANCING

1. FIN Time Wait 세션 확인

2. FIN Time Wait 시간 조절

3. 시스템에 적용하기

※유의사항

0. 환경

OS: RHEL 7.0 이상

1. 방화벽 오픈

sudo firewall-cmd --permanent --zone=public --add-port=20/tcp

sudo firewall-cmd --permanent --zone=public --add-port=21/tcp

2. 방화벽 설정 로딩 적용

sudo firewall-cmd --reload

3. 방화벽 상태 조회

sudo firewall-cmd --state

4. 방화벽 활성화 및 시작

sudo systemctl enable firewalld

sudo systemctl start firewalld

5. 방화벽 중지 및 비활성화

sudo systemctl stop firewalld

sudo systemctl disable firewalld

1. 환경

• OS: RHEL 7.0 이상

2. SELINUX ftp 데몬 외부 접근 권한 설정

• setsebool -P ftpd_full_access on

3. SELINUX ftp 상태 조회

• getsebool -a | grep ftp

4. SELINUX 상태 조회

• sestatus

대용량 메시지 처리 큐 시스템인 아파치 카프카를 설치해 보고, 간단하게 메시지 전달과 수신에 대해서 테스트를 진행해 본다.

1. 아파치 카프카는 무엇인가?

대용량, 대규모 메시지 데이터를 빠르게 처리할 수 있도록 개발된 메시지 큐잉 플랫폼이라고 간단하게 정의할 수 있다.

대용량 처리를 위해 ZooKeeper 기반 분산 서버 운영 환경을 지원한다.

처음 링크드인에서 내부 서비스를 위해 개발하여 사용하다가 2011년 초에 아파치 공식 오픈 소스로 세상에 공개되었다.

아파치 카프카는 기업에서 필요한 모든 데이터 시스템 및 서비스의 중앙 플랫폼 역할로 서비스 기반 아키텍처(SOA, Service Oriented Architecture)를 위한 핵심 구성 요소인 엔터프라이즈 서비스 버스(ESB, Enterprise Service Bus)를 쉽게 구현할 수 있도록 한다.

2. 카프카 동작 방식은?

카프카는 기본적으로 메시징 서버로 동작하며, 메시지 보내느 메커니즘 중에 PUB/SUB 모델을 기반으로 하하고 있다.

보내는 측인 Producer, 받는 측인 Consumer로 구성하여 메시지를 전달하고 받는 구조를 제공한다. 

동작 방식에 대한 도식화된 그림은 아래와 같다.

3.설치 환경

- OS: Mac OS High Sierra 10.13.4

- PC: MacBook Pro (Retina, 13-inch, Mid 2014)

4. 카프카 다운로드

아래의 사이트에서 다운로드 할 수 있다.

https://kafka.apache.org/downloads

카프카 설치를 위해 카프카 1.1.0 버전의 패키지 중에 Scala 2.12 기반 버전을 다운 받았다.

다운로드 후에 압축을 풀면 kafka_2.12-1.1.0 디렉토리를 확인할 수 있다.

5. JDK 설치

카프카는  Scala 언어로 개발되어 카프카 실행을 위해서는 JVM이 설치되어야 한다.

JDK 8 버전을 설치하자.

아래 다운로드 페이지에서 다운로드하여 설치하도록 한다.

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

※ 혹시 JDK 8 이상 버전을 사용하시면 JDK 8을 설치하여 사용하는게 정신 건강에 이롭다.

상위버전을 사용하면 ZooKeeper 실행 시 아래와 같은 오류 메시지를 확인할 수 있다.

bin/zookeeper-server-start.sh config/zookeeper.properties

Unrecognized VM option 'PrintGCDateStamps'

6. ZooKeeper 설정 및 실행

카프카 다운받고 압축해제 한 후 카프카 디렉토리로 이동하면 아래와 같은 폴더로 되어 있다.

카프카 설치 디렉토리에서 아래와 같이 입력하면 ZooKeeper가 실행된다.

정상적으로 실행되면 아래와 같은 메시지가 출력된다.

※ 여러 대의 서버로 ZooKeeper를 구성하고자 한다면 아래의 링크를 참조하여 구성하면 된다.

http://programist.tistory.com/entry/Apache-Kafka-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0%EB%A7%81-%EA%B5%AC%EC%B6%95-%EB%B0%8F-%ED%85%8C%EC%8A%A4%ED%8A%B8

7. 카프카 실행 

카프카 설치 디렉토리에서 아래와 같이 입력하면 아파치 카프카가 실행된다.

정상적으로 실행되면 아래와 같은 메시지가 출력된다.

※ 여러 대의 서버로 카프카를 구성하고자 한다면 아래의 링크를 참조하여 구성하면 된다.

http://programist.tistory.com/entry/Apache-Kafka-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0%EB%A7%81-%EA%B5%AC%EC%B6%95-%EB%B0%8F-%ED%85%8C%EC%8A%A4%ED%8A%B8

8. 토픽 관리

토픽 생성

토픽 확인

아래의 명령어를 입력하면 생성된 토픽 리스트를 확인 할 수 있다.

토픽 삭제

9. 메시지 송신 및 수신

Producer 실행

Producer는 아래와 같이 실행할수 있다.

test라는 토픽을 구독하는 Consumer에게 보내겠다고 브로커에게 메시지를 보내는 것이다.

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Consumer 실행

Consumer는 아래와 같이 실행할 수 있다.

test라는 토픽에 메시지가  들어오면 받겠다는 것이다.

bin/kafka-console-consumer.sh -zookeeper localhost:2181 --topic test --from-beginning

메시지 전송

Producer 콘솔창에 보내고자 하는 메시지를 입력하면 아래와 같이 Consumer 콘솔창에 메시지가 수신되어 나타난다.

파이썬을 사용하기 위해서 윈도우용 파이썬 설치 배포 패키지인 아나콘다를 설치하는 방법을 설명한다.

아나콘다 설치 배포본에는 Jupter Notebook, IPython, qtconsole, spyder 등이 포함되어 있다.

1.설치환경

- 윈도우10 64bit

2. 아나콘다 패키지 다운로드

https://www.continuum.io/downloads

아래의 다운로드 화면에서 Python 3.5 version, 64-BIT Installer를 다운로드 한다.

3. 아나콘다 설치하기

다운받은 Anaconda3-4.2.0-Windows-x86_64.exe 파일을 클릭하여 PC에 설치한다. 설치가 완료되면 "C:\Program Files\Anaconda3" 경로에 아래와 배포본이 설치된다.

4. 아나콘다 관리하기

아나콘다를 관리하기 위해 아나콘다 메뉴에서 Anaconda Prompt를 관리자 권한으로 실행을 한다.

버전 확인

conda update --help

아나콘다 업데이트

conda update conda

설치된 패키지 내역 보기

conda list 

To list all of your packages installed into a non-active environment named snowflakes:

conda list -n snowflakes 

conda search beautiful-soup 

conda install --name bunnies beautiful-soup 

conda install python=3.5

conda install -c menpo opencv3=3.1.0

자세한 Anaconda 명령어 레퍼런스는 아래의 사이트를 참고하기 바랍니다.

http://conda.pydata.org/docs/using/using.html#introduction

텐서플로우가 이제 윈도우에서 설치하여 사용할 수 있게 되었습니다.

윈도우에 텐서플로우 설치 방법은 아래의 순서로 진행하시면 됩니다.

1.설치환경

- 윈도우10 64bit

- Nvidia GTX 1080 또는 1070, 1060 등 CUDA를 지원하는 그래픽 카드

2. 설치 패키지 다운로드

2.1 아나콘다3 4.2 64bit 버전 다운로드

 https://www.continuum.io/downloads

아래의 다운로드 화면에서 Python 3.5 version, 64-BIT Installer를 다운로드 한다.

2.2. Nvidia CUDA 및 cuDNN SDK 다운로드

https://developer.nvidia.com/accelerated-computing-toolkit

아래의 다운로드 화면에서 CUDA 8.0, cuDNN을 다운로드 하시면 됩니다.
cuNDD은 개발자 회원가입을 해야 다운 받을 수 있습니다.

3. 패키지 설치하기

3.1 CUDA 설치하기

다운받은 cuda_8.0.44_win10.exe 파일을 클릭하여 PC에 설치한다.

설치가 완료되면 아래의 경로에 CUDA 패키지가 설치된다.

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0

3.2 cuDNN 설치하기

다운받은 cudnn-8.0-windows10-x64-v5.1.zip 파일을 압축해제 한다.

압축을 해제하면 bin, include, lib 폴더가 있다. 해당 폴더를 3.1에 설치한 CUDA 설치 경로에 복사하여 덮어쓰기를 한다.

3.3 아나콘다 설치하기

다운받은 Anaconda3-4.2.0-Windows-x86_64.exe 파일을 클릭하여 PC에 설치한다.

3.4 Tensorflow 설치하기

아나콘다 설치 메뉴에서 아나콘다 프롬프트를 관리자 모드로 실행한다.

아래의 명령어를 아나콘다 프롬프트에  "pip install tensorflow-gpu" 명령어를 입력한다. 설치 명령어를 입력하면 아래와 같이 Tensorflow 다운로드 및 설치가 진행된다.

업그레이드 명령어는 아래와 같다.

pip install --upgrade https://storage.googleapis.com/tensorflow/windows/gpu/tensorflow_gpu-0.12.0rc0-cp35-cp35m-win_amd64.whl

4. 설치 확인 및 실행

아나콘다 설치 메뉴 폴더에서 IPython을 선택하여 실행한다.

아래의 코드를 입력하면 Tensoflow가 정상적으로 동작하는지 간단히 확인할 수 있다.

1. Instance Stop

- Instances 메뉴를 선택하여 실행 중인 Instance 를 중지한다. 필수는 아니다.

2. Volume의 Snapshot 생성

- Instance에서 사용하던 Volume를 백업하기 위해 Snapshot을 생성한다.

- 오래 걸린다. 커피한잔 먹고 오자.

3. Detach Volume

- Instance에서 사용하던 Volume를 분리하자.

- 분리전에 Tag 정보를 메모하자.

4. Snapshot을 이용하여 Create Voume

- Snapshot을 이용하여 Volume를 생성하며 이때 변경하고자하는 Volume Size를 설정한다.

- IOPS 옵션도 설정한다.

5. Instance에 생성한 Volmue Attach

6. Start Instance