[MongoDB] Ubuntu 에서 Docker Compose로 MongoDB ReplicaSet 구성하기

프로젝트에서 온프레미스 환경에 있는 MongoDB 데이터베이스를 AWS DMS 를 사용하여 S3로 마이그레이션을 하게 되었다..!! DMS CDC 기능을 사용해보기 위해서 mongoDB 레플리카 셋을 구축해보게 되었다. 

---

MongoDB ReplicaSet 이란 ?

Replica Set은 쿠버네티스에서도 등장하는데, Mongo DB에서는 관점이 조금 다르다. 데이터베이스의 데이터를 여러 서버에 동일한 데이터 셋을 저장하고 운영하기 위한 클러스터이다. Replica Set을 구성해서, 하나의 서버에 장애가 일어나더라도 다른 서버가 동일한 데이터 셋을 운영할 것이므로 가용성을 보장할 수 있다. 

 

Replica Set 의 패턴 

MongoDB에서 레플리카셋을 구성하는 패턴은 크게 두가지이다. 

1. PSS (Primary - Secondary - Secondary) 구성 

 

말그대로 primary node 1개, secondary node 2개로 이루어진 구성이다. Primary Node 에서 어떠한 작업이 수행되면 oplog에 작업 로그가 저장된다. Secondary Node 는 oplog 를 보고 작업을 동일하게 수행한다. 

2. PSA (Primary - Secondary - Arbiter) 구성 

Arbiter Node 

Arbiter Node 는 Primary Node 나 Secondary Node처럼 데이터를 직접적으로 저장하지는 않는다. 따라서 Primary , Secondary에 비해 사양이 낮은 인스턴스를 사용해서 구성할 수 있다. Arbiter 는 Primary Node에 장애가 발생하여 이용할 수 없는 상태가 되었을 때 남아있는 Secondary Node들 중에서 Primary Node 역할을 누가 수행할지 정하는 'Election'을 수행한다. 

---

Docker Compose 로 MongoDB ReplicaSet 구성하기 

사전 준비물 : docker, docker compose 설치 

MongoDB 레플리카 셋 클러스터를 구성하기 위해서 직접 인스턴스 여러개를 띄워서 구성할 수 도 있다. 하지만 docker copmose로 여러개의 컨테이너를 한꺼번에 구성, 설치, 관리하면 조금 더 효율적으로 구성할 수 있어서 선택하게 되었다. Docker Compose 는 yaml 파일 (docker-copmose.yml)로 도커 어플리케이션을 정의하여 여러 컨테이너를 실행할 수 있는 도구이다.  

docker 와 docker compose 를 설치하고, docker 를 통해 컨테이너들이 통신할 수 있도록 bridge type의 네트워크를 하나 구성한다 !! 

$ sudo docker network create mongoCluster

네트워크가 잘 생성되었는지 다음의 명령어로 확인한다. 

$ sudo docker network ls

 

mongoDB 레플리카셋에 참여한 node들 끼리 통신하기 위해서는, key 파일이 필요하다. key 파일을 생성하고, 권한을 chmod 400으로 변경한다. 

$ openssl rand -base64 756 > mongodb.key
$ chmod 400 mongodb.key
$ ls -ld mongodb.key
-r-------- 1 ubuntu ubuntu 1024 Jun 16 05:21 mongodb.key

 

docker-compose.yml 파일 구성하기 

version: '3.5'
services:  
  mongo1:
    image: mongo:latest
    hostname: mongo1
    container_name: mongo1 # primary node 
    restart: always 
    environment: # MongoDB root 계정 & 비밀번호 설정 
      MONGO_INITDB_ROOT_USERNAME: root
      MONGO_INITDB_ROOT_PASSWORD: 1234
    ports:
      - 27017:27017
    volumes:
      - ./data/db/replica/mongo1:/data/db
      - ./mongodb.key:/etc/mongodb.key
    entrypoint:
      - bash 
      - -c
      - |
          chmod 400 /etc/mongodb.key
          chown 999:999 /etc/mongodb.key
          exec docker-entrypoint.sh $$@
    command: "mongod --bind_ip_all --replSet myReplicaSet --keyFile /etc/mongodb.key"
  mongo2:
    image: mongo:latest
    hostname: mongo2
    container_name: mongo2 # secondary node (1)
    restart: always # 컨테이너 정책 설정 - 문제 발생시 restart 하기 
    environment:
      MONGO_INITDB_ROOT_USERNAME: root 
      MONGO_INITDB_ROOT_PASSWORD: 1234
    depends_on:
      - mongo1
    ports: # 외부에서 27018 포트로 접속하면 컨테이너 내부의 27017 포트로 포트포워딩 
      - 27018:27017
    volumes:
      - ./data/db/replica/mongo2:/data/db
      - ./mongodb.key:/etc/mongodb.key
    entrypoint:
      - bash
      - -c
      - |
          chmod 400 /etc/mongodb.key
          chown 999:999 /etc/mongodb.key
          exec docker-entrypoint.sh $$@
    command: "mongod --bind_ip_all --replSet myReplicaSet --keyFile /etc/mongodb.key"
  mongo3:
    image: mongo:latest
    hostname: mongo3
    container_name: mongo3 # secondary node (2)
    restart: always
    environment:
      MONGO_INITDB_ROOT_USERNAME: root
      MONGO_INITDB_ROOT_PASSWORD: 1234
    depends_on:
      - mongo2
    ports:
      - 27019:27017 # 외부에서 27018 포트로 접속하면 컨테이너 내부의 27017 포트로 포트포워딩 
    volumes: # key 파일 마운트 하기 && mongoDB 저장 공간 마운트 하기 
      - ./data/db/replica/mongo3:/data/db
      - ./mongodb.key:/etc/mongodb.key
    entrypoint: # key 파일 권한 설정 
      - bash
      - -c
      - |
          chmod 400 /etc/mongodb.key
          chown 999:999 /etc/mongodb.key
          exec docker-entrypoint.sh $$@
    command: "mongod --bind_ip_all --replSet myReplicaSet --keyFile /etc/mongodb.key"
networks:
  default:
    name: mongoCluster

 

docker-compose.yml 구성 파일을 이용하여 백그라운드에서 실행시킨다. 

$ sudo docker-compose up -d

 

Docker-Compose.yml 파일 설명 

IP Binding 

--bind_ip 옵션은 MongoDB 레플리카셋에 참여하는 노드들 연결을 위해 모든 ip 에서 listen 상태로 대기시키는 설정이다. 

mongodb.key Permission 

entrypoint:
      - bash 
      - -c
      - |
          chmod 400 /etc/mongodb.key
          chown 999:999 /etc/mongodb.key
          exec docker-entrypoint.sh $$@

레플리카 셋을 구성하는 명령어를 날리기 전에 key 파일 퍼미션을 변경해주어야 mongoDB가 key 파일을 이용해서 레플리카 셋을 구성할 수 있다. 

 

primary node 로 초기화하기

mongo1 컨테이너에 접속한 후 , 레플리카 셋의 primary node 로 초기화 진행한다. 

 

$ sudo docker exec mongo1 -it /bin/bash 
$ rs.initiate()