AWS에서 Subnet CIDR를 10.0.0.0/24 로 정한다고 했을 때, 총 256 개의 IP 중에서 5개는 AWS가 예약하여 사용하는 IP 로 사용할 수 없다. 즉 256 - 5 = 251개의 IP 를 사용할 수 있다. AWS 예약 IP 주소 : 10.0.0.0 : 네트워크 대역 주소 10.0.0.1 : AWS에서 VPC router 용으로 예약한 주소 10.0.0.2 : DNS 서버의 IP 주소, 기본 VPC 네트워크 대역 주소에 2를 더한 주소 10.0.0.3 : AWS에서 앞으로 사용하기 위해 예약한 주소 10.0.0.255 : 네트워크 브로드캐스트 주소 VPC 에서는 브로드 캐스트를 지원하지 않으므로 이 주소를 예약한다. 5개는 예약되서 251개만 사용 가능하다
Cloud Engineering
Amazon Kendra는 NLP 와 ML 알고리즘을 사용하여 연결된 데이터 레포지토리 (인덱스)에서 검색 질문에 대해 특정한 답변을 반환하는 서비스이다. Amazon Kendra는 S3나 Lex 등의 서비스에 연결하여 사용할 수 있다. S3는 데이터 레포지토리로 사용하여 연동할 수 있으며, Lex의 경우 Kendra+Lex 조합으로 챗봇을 만들 수 있다. 데이터 레포지토리에는 '문서' 를 넣을 수 있고 pdf, csv... 등 다양한 파일 형식을 지원한다. 영어 이외의 언어로 되어있는 문서 또한 데이터 소스에 추가할 수 있으며, 한국어로 된 문서도 잘 읽힌다. https://docs.aws.amazon.com/ko_kr/kendra/latest/dg/what-is-kendra.html Amazon Ke..
boto3 library 가 없으면 우선 pip3 install boto3 명령어로 설치해주자. 또한 AWS 콘솔에서 ACCESS_KEY 와 SECRET_ACCESS_KEY 발급이 필요하다 !! 다음으로 S3 버킷 연결을 위한 connection을 생성하는 과정이다 client() 함수로 연결을 생성한다. import boto3 def s3_connection(): try: s3 = boto3.client( service_name="s3", region_name="ap-northeast-2", aws_access_key_id=AWS_ACCESS_KEY, aws_secret_access_key=AWS_SECRET_ACCESS_KEY ) except Exception as e: print(e) else: p..
프로젝트에서 온프레미스 환경에 있는 MongoDB 데이터베이스를 AWS DMS 를 사용하여 S3로 마이그레이션을 하게 되었다..!! DMS CDC 기능을 사용해보기 위해서 mongoDB 레플리카 셋을 구축해보게 되었다. MongoDB ReplicaSet 이란 ? Replica Set은 쿠버네티스에서도 등장하는데, Mongo DB에서는 관점이 조금 다르다. 데이터베이스의 데이터를 여러 서버에 동일한 데이터 셋을 저장하고 운영하기 위한 클러스터이다. Replica Set을 구성해서, 하나의 서버에 장애가 일어나더라도 다른 서버가 동일한 데이터 셋을 운영할 것이므로 가용성을 보장할 수 있다. Replica Set 의 패턴 MongoDB에서 레플리카셋을 구성하는 패턴은 크게 두가지이다. 1. PSS (Prima..
RDS → S3 마이그레이션 task를 수행하는 중 DMS에서 CDC 작업이 제대로 이루어지는지 검증하는 작업을 수행했다. DMS로 MySQL DB (RDS) 에서 S3 Bucket으로 Migration 하기 AWS에서 새로운 RDS 인스턴스 생성 RDS와 MySQL Workbench 연결하기 RDS 보안그룹에 인바운드 규칙은 다음과 같이 추가되어야 한다. (필요에 따라 내 IP를 선택하거나 모든 트래픽을 선택하면 될 것이다. ) 3. 엔드포인트 생성 및 연결 테스트 완료 엔드포인트 생성 시 rds에서 사용하는 마스터키 비밀번호를 정확하게 입력해주어야 한다 4. RDS에서 파라미터 그룹 생성 5. 파라미터 설정에서 binlog_row_image 를 full 로 변경 6. binlog_format 값으로 ..
이러한 아키텍처대로, Private Subnet에 있는 ec2인스턴스에서 S3 Bucket에 접근할 수 있도록, PrivateLink 서비스를 사용하는 인프라를 구현해 보았다. VPC Endpoint를 사용하면 VPC에서 AWS 서비스들과 통신할 때 외부 인터넷에 데이터를 노출시키지 않고, Private하게 서비스에 접근 및 통신할 수 있다. 1. Private Subnet에 ec2 인스턴스 생성하기 2. S3 버킷을 원하는 region 에 생성하기 3. VPC endpoint로 EC2랑 S3를 연결하기 AWS 서비스를 선택한다 미리 생성한 ec2가 있는 VPC를 선택한다 S3 버킷을 만든 region 에 해당하는 aws s3 서비스를 선택한다. 4.Private Subnet 내에 속한 인스턴스에서 S3..
AWS PrivateLink 로 구동되는 자체 VPC 엔드 포인트 서비스를 생성하고, 이 VPC 에 액세스할 수 있게 한다. 다음과 같은 아키텍처를 직접 구현해보는 실습을 정리해 보았다 VPC 내에 Public Subnet 과 Private Subnet을 각각 하나씩 만든다. Public Subnet 내에 ec2 instance 하나를 띄우고, Private Subnet 내에도 ec2 instance를 하나 띄운다. Public Subnet 에서 생성한 ec2 instance인 Bastion host에서는 Private subnet의 Instance에 접근이 가능하다. 그런데 Private Subnet Instance의 경우, 외부로 트래픽이 나가도록 설정되어 있지 않다. 이러한 경우에, Private ..
나도 왜이렇게 커밋에 집착하는지 모르겠다 하지만 잔디는 채우고 싶은걸.. 그런데 어제 오픽 시험을 봐서 커밋을 못했다고 한다 ㅠㅠ 이왕 하는거 커밋 날짜 조작.. 아니 변경하는 포스팅을 써보려고 한다 자자 일단 조작할 커밋을 하나 생성해본다 . vim 편집기로 간단한 코드 쓰고 파일을 생성했다 ㅎㅎ.. 참고로 포스팅 기준 오늘은 3월 11일이고 나는 3월 10일 비어서 커밋 조작을 해줄 것이다. vim 2023-03-10.py git add . git commit -m '0310' git push origin master git log를 확인해서 해시값을 얻자 commit 뒤에 나오는 이상한 값이 있는데 이게 해시값이다. git log 해시값을 이용해서 commit 에 대한 상세정보 파일에 들어갈 것이다..
