Cloud Engineering

참고 : Ubuntu 22.04 LTS 환경에서 작업했습니다. 사이드 프로젝트 서비스 배포 준비를 하며 Dockerfile 빌드를 하던 중, No space left on device 에러가 발생했다. 원래 EC2에 연결되어 있던 EBS 볼륨의 크기는 8GB였다. 도커 파일 빌드 시에 ML 관련 패키지들이 무거운 것들이 있어서인지 df -h 명령어로 파일시스템을 확인하면 빌드가 진행되면서 사용률이 늘어나는 것을 확인할 수 있었다. EC2 인스턴스 > 스토리지 > 블록 디바이스를 선택한다. 수정할 EBS 를 선택하고 볼륨 수정을 선택한다. 나의 경우 16GB로 늘려주었다. 아직 xvda 1 는 7.9G 가 할당된것을 볼 수 있다. 루트 파티션 xvda1 이 전체 공간을 사용할 수 있도록 확장하는 작업이 필..

airflow 를 t2.micro (가장 저렴한 프리티어 인스턴스) 로 deploy 하다가 서버가 계속 죽는 현상이 나서 메모리 사용량을 찍어봤더니 인스턴스가 버거워 하는 것을 확인했다..사용중인 인스턴스를 '중지' (절대 종료하면 안된다 인스턴스가 삭제됨) 한 후에, 인스턴스 설정 > 인스턴스 유형 변경을 선택한다. 원하는 인스턴스 유형을 선택하고 적용시킨다. 4GB 정도면 충분하겠지..! 적용이 성공되면 다음과 같다 재부팅 후 airflow 실행을 해보니 이제 인스턴스가 어는 것도 없고 task 가 잘 실행된다!

Intro 지인들과 사이드 프로젝트로 개발한 Django 앱을 deploy 해보는 예제로 Docker Image를 배포하는 간단한 hands on 을 소개해보겠습니다. Docker Image로 관리하는게 배포할 때 버전관리나 환경 구축 시에 편리할 것 같아서 Image화하였습니다. 아래의 Git Repository 가 개발한 Django 앱 입니다. https://github.com/FoodieZone/Backend GitHub - FoodieZone/Backend Contribute to FoodieZone/Backend development by creating an account on GitHub. github.com 작업 및 배포 환경 Host Server : ubuntu 22.04 Cloud S..

Lambda 함수를 trigger 거는 방법에는 여러가지가 있지만 그중에서도 AWS 외부에서 lambda 에 요청을 보내기 위해서 API Gateway 와 연동하게 되면, lambda 함수를 빠르게 서버리스로 배포할 수 있다. API Gateway 와 Lambda 서비스를 사용하여 Serverless HTTP API 를 배포하는 방법에 대해 알아보자 우선 AWS 에서 API Gateway > Create API 를 선택하고, HTTP API 타입을 선택한다. 생성하게 될 HTTP API 이름을 적는다. HTTP method 를 여기서도 정의할 수 있지만 우선 넘어가고, 나중에 한번에 정의하도록 한다. API 배포를 관리하기 위한 Stage 이름을 정한다. 구성 내용을 확인하고 Create 버튼을 눌러 A..

지난주에 시험보고 이제서야 쓰는 후기 AWS Data Analytics Specialty Certification 을 취득했다. Solutions Architect 를 취득하고 나서 머리가 가열되어 있는 상태(?)에서 조금만 더 공부하면 금방 딸 수 있다는 주위 사람들의 말을 듣고 SAA 시험 본 날에 DAS 시험을 신청했다. 솔루션즈 아키텍트 시험을 공부할 때와 동일하게 Exam Topics 로 공부했고 따로 유료 결제까지 하면서 dump 공부를 하진 않았다. 그래서 무료로 제공되는 약 70-80 문제 정도만 1회독 했다. 덤프를 외우지는 않았고 문제 풀면서 몰랐던 기능들을 정리해보았고, 서비스들을 어떻게 붙여서 써먹는지 이해하면서 공부하려고 노력했다. 공부하면서 Kinesis , EMR, Glue 등..

미루고 미루다가 SAA 시험을 드디어 봤다. 17만원짜리 시험 떨어지면 어떡하나 했는데 다행히 790점대로 무난히 합격하였다. 1. 준비기간 : 3 ~ 4개월 - 준비 기간의 경우 회사를 다니면서 준비하느라 집중적으로 하루에 N시간씩 쏟지는 못했다 - 시간을 많이 쓸 수 있는 상황이거나 AWS 경험이 많다면 좀 더 짧은 기간에 준비할 수 있을 것 같다. - Cloud Practitioner 는 따지 않았으며, 바로 SAA 준비를 시작했다. 2. 준비 방법 1) Udemy SAA-03 강의 저렴한 가격에 강의 퀄리티, ppt 퀄리티도 다 마음에 들었다. 다만 꼼꼼히 듣는데 시간이 꽤 걸린다. 영어자막으로 보긴했는데 한국어 자막도 지원하는 것으로 알고 있다. 강의를 찾는다면 추천 ! Udemy 는 캐싱을 해..

AWS 인스턴스 개인 작업할 때는 t2시리즈..(프리티어가 여기에 속한다) 만 주로 사용했었으나 실무를 하다보니 가격 정책과 인스턴스 유형을 좀 잘 알아야 겠다는 생각이 들어 정리해보게 되었다. 인스턴스 비용을 절약하자 가격 정책 AWS 가격 정책은 다음과같이 3가지가 있으며, 각각의 종류는 case에 따라 유리한 정책이 달라진다. 1. 온디맨드(on demand) 인스턴스 정기 약정 없이 초 단위, 혹은 시간당 비용을 지불하게 된다. 바로바로 배포가 가능하여 수요에 맞게 빠르게 사용할 수 있다. 12개월 이내의 기간동안 서버를 운영하는 경우 유리하다 2. 예약 인스턴스 온디맨드 인스턴스에 비해 최대 72%까지 할인 혜택을 받을 수 있다. 1년 이상의 기간 동안 서버를 운영할 계획이라면, 1 ~ 3 년 ..

1. Backup and Restore 데이터 손상 및 삭제 시에도 데이터에 엑세스 할 수 있도록 시스템 데이터를 복사하여 아카이빙한다. 2. Pilot Light - 작은 버전의 앱이 항상 클라우드 상에서 실행되는 상태로 운영한다. - critical core에 유용하다 - Back up and Restore 과 유사하다 - 그렇지만 Backup and Restore 보다 복구 속도가 빠르다. critical systems는 이미 실행중인 상태이기 때문이다. - data 는 실시간으로 계속 업데이트 되는 상태이지만 service는 idle (사용되지 않는 상태) 라고 이해할 수 있다. 3. Warm Standby - Full system이 실행중인 상태이지만 최소한의 크기로 운영시킨다. 즉 운영은 되는..