AWS CLI 설치 Linux 기준 다음 명령어 입력하면 설치 완료 ! curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/install 설치 되었는지는 aws --version 으로 버전을 확인하면 된다. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 사용자 설정하기 S3 접근 권한이 있는 사용자여야 한다. 사용자 설정에는 Access key ID, Secret access key 가 필요하다. IAM > 사용자 정보 > 액세스 키 생성 혹은 이미 만들어..
전체 글
Data Engineering과 Cloud Native 기술에 대해 Dive Deep 하는 플랫폼 엔지니어가 되는 것을 목표로 하고 있습니다. 경험과 공부한 내용을 기록하며 지속가능한 엔지니어가 되는 것이 꿈입니다.
인스턴스 Amazon VPC란 ? VPC는 Virtual Private Cloud 의 줄임말이다. AWS에서 VPC 란 사용자를 위한 전용 가상 네트워크라고 생각하면 된다. 이 가상의 네트워크 내부에서 서브넷들을 구성할 수 있고, 서브넷 내부에서 ec2 인스턴스와 같은 호스트를 생성할 수 있는 것이다. VPC의 구조는 다음과 같다. 그림에서 VPC 내부에 퍼블릭 서브넷과 프라이빗 서브넷을 생성할 수 있다. 예를 들어서, VPC 의 네트워크 대역이 172.0.0.0/16 이면 그 하위의 서브넷 A (public) 은 172.0.0.0/24의 대역을 가질 수 있고, 서브넷 B는 172.0.10.0/24 와 같은 네트워크 대역을 가질 수 있다. 퍼블릭 서브넷과 프라이빗 서브넷의 가장 큰 차이는, 퍼블릭 서브넷..
S3 란 ? Simple Storage Service(Amazon S3) 의 줄임말으로, 스토리지의 확장성이 우수하며 데이터의 가용성, 보안 기능을 제공하는 아마존의 스토리지 서비스이다 . S3를 사용하여 Databricks 같은 Data Lake 를 구성할 수도 있으며 웹 어플리케이션의 데이터를 저장할 수 있다. 또한 재해 등을 대비해서 데이터를 백업 하는데 사용될 수도 있다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/Welcome.html Amazon S3란 무엇인가요? - Amazon Simple Storage Service Amazon S3란 무엇인가요? Amazon Simple Storage Service(Amazon S3)는 업..
IAM이란 ? Identidy and Access Management 의 줄임말으로, AWS 상의 리소스에 대해 권한 설정을 하여 안전하게 리소스에 접근하도록 관리하는 서비스이다. 인턴을 했을 당시에 권한 문제 때문에 한시간 내내 IAM 정책 설정을 붙잡고 시니어 개발자분이랑 늘어졌던 경험이 있는데.. 그만큼 특히 기업체에서 권한 관리는 보안상 중요하다고 느꼈다. AWS에 로그인하는 ID는 루트 사용자라고 하며, 보안상 일반적인 작업에 루트 사용자를 사용하는 것은 위험할 수 있으므로 권한을 그룹 또는 사용자를 생성하여 관리할 수 있다. https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/introduction.html IAM이란 무엇입니까? - AWS Ide..
EC2 인스턴스에 접속하는 방법은 총 3가지가 있다. 1. AWS 웹페이지에서 CLI 사용하기 2. ssh 원격접속하기 3. (Window의 경우) PuTTY를 사용하여 원격 접속하기 AWS 웹 페이지에서 제공하는 방식 EC2 인스턴스 대시보드 페이지에 접속한다. 실행 중인 인스턴스를 선택하고, 상단의 연결 버튼을 누른다. EC2 인스턴스 연결을 선택하고 연결 버튼을 누른다. 웹페이지에서 바로 CLI를 사용할 수 있다. ssh 원격 접속하기 원격 접속을 위해서는 인스턴스 생성할 때 사용했던 key 파일이 필요하다. user 사용자 read only 만 가능하게 권한을 변경했다. user@cccr03-350XCJ-350XCR:~$ chmod 400 minjee_key.pem user@cccr03-350XC..
인스턴스란 EC2에서 사용하는 가상화 서버이다. 인스턴스는 1개에서 수천개로 확장할 수 있으며, 모든 region에서 사용할 수 있다. 또한 EC2 인스턴스에서 사용하는 블록기반 스토리지를 EBS(Elastic Block Storage)라고 한다. 인스턴스 시작하기 인스턴스 시작을 누르면 새로운 인스턴스를 생성할 수 있다. 인스턴스 이름을 정한다. AMI 이미지 선택하기 사용할 OS 이미지를 선택할 수 있다. AMI란, Amazon Machine Image로 EC2 인스턴스를 만들 때 사용하는 이미지 파일이다. 기존에 있는 이미지 파일도 사용할 수 있으며, 직접 커스텀한 AMI 이미지 파일도 사용할 수 있다. 나의 경우 Amazon Linux로 프리티어 사용할 수 있는 것으로 설정했다. 네트워크 설정 다..
Ansible에서는 템플릿 언어로 jinja2 를 사용한다. jinja2는 python의 템플릿 언어이며, 동적 데이터를 생성하는 데 사용하다. 주로, 복수의 마크업과 소스코드를 생성하는데 사용 {{ Python Code 또는 변수 참조 }} {% %} 제어 문 {# #} 주석처리 template: 이라고 추가하고, 템플릿 구성 파일인 jinja2 파일을 src 에 추가할 수 있다. 생성되는 템플릿 파일의 위치를 dest에 지정할 수 있다. - hosts: ansi-node1 vars: date: 2023-03-07 tasks: - template: src: temp_dir/template1.j2 dest: /tmp/template_test template1.j2 파일 내용 {{ date }} {# lo..
https://www.acmicpc.net/problem/2170 2170번: 선 긋기 첫째 줄에 선을 그은 횟수 N (1 ≤ N ≤ 1,000,000)이 주어진다. 다음 N개의 줄에는 선을 그을 때 선택한 두 점의 위치 x, y (-1,000,000,000 ≤ x < y ≤ 1,000,000,000)가 주어진다. www.acmicpc.net i ) 선형적으로 문제를 풀어야 하니까 정렬 , 투포인터 , .. 등등을 떠올리게 되었다. ii ) 문제를 그려서 이해해보았다. 한 선분을 기준으로, start와 end 가 선분의 양 끝점이라고 한다. 이 경우 새로운 두 개의 점이 주어졌을 때 위의 그림과 같이 두가지 경우로 나뉘게 된다. 합쳐지거나, 합쳐지지 못하거나 두가지이다. 주어지는 (x, y) 에 대해 오..