Computer Science Knowledge Storage

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

사설 IP

• 한정된 IP 주소를 최대한 활용하기 위해 IP 주소를 분할하고자 만든 개념
  • IPv4 기준으로 최대 IP 갯수는 43억개(4,294,967,296)
• 사설망
  • 사설망 내부에는 외부 인터넷 망으로 통신이 불가능한 사설 IP로 구성
  • 외부로 통신할 때는 통신 가능한 공인 IP로 나누어 사용
  • 보통 하나의 망에는 사설 IP를 부여받은 기기들과 NAT 기능을 갖춘 Gateway로 구성

NAT(Network Address Translation)

• 사설 IP가 공용 IP로 통신할 수 있도록 주소를 변환해주는 방법
• 3가지 종류 

• Dynamic NAT: 1개의 사설 IP를 가용가능한 공인 IP로 연결
  • 공인 IP 그룹(NAT Pool)에서 현재 사용 가능한 IP를 가져와서 연결

• Static NAT: 하나의 사설 IP를 고정된 하나의 공인 IP로 연결
  • AWS Internet Gateway가 사용하는 방식

• PAT(Port Address Translation): 많은 사설 IP를 하나의 공인 IP로 연결
  • NAT Gateway/NAT Instance가 사용하는 방식

CIDR(Classless Inter Domain Routing)

• IP 주소의 영역을 여러 네트워크 영역으로 나누기 위해 IP를 묶는 방식
• 여러개의 사설망을 구축하기 위해 망을 나누는 방법

CIDR Block/CIDR Notation

• CIDR Block: IP 주소의 집합
  • 호스트 주소 비트만큼 IP 주소를 보유 가능
• CIDR Notation: CIDR Block을 표시하는 방법
  • 네트워크 주소와 호스트 주소로 구성
  • 각 호스트 주소 숫자만큼의 IP를 가진 네트워크 망 형성가능
  • 10.0.1.0/24
  • 네트워크 주소+호스트주소 / 네트워크 주소가 몇 bit인지 표시

서브넷

• 네트워크 안에 네트워크
• 큰 네트워크를 잘게 쪼갠 단위
• 일정 IP 주소의 범위를 보유
  • 큰 네트워크에 부여된 IP범위를 조금씩 잘라 작은 단위로 나눈 후 각 서브넷에 할당

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

Elastic File System(EFS)

Amazon EFS(Amazon Elastic File System)은 AWS 클라우드 서비스와 온프레미스 리소스에서 사용할 수 있는 간단하고 확장 가능하며 탄력적인 완전관리형 NFS 파일 시스템을 제공합니다. 이 제품은 애플리케이션을 중단하지 않고 온디맨드 방식으로 페타바이트 규모까지 확장하도록 구촉되어 파일을 추가하고 제거할 때 자동으로 확장하고 축소하며 확장 규모에 맞게 용량을 프로비저닝 및 관리할 필요가 없습니다.
-AWS-

• 세션 관리, 소스코드 관리, 빅데이터, ML 분산처리 시 필요
• NFS 기반 공유 스토리지 서비스(NFSv4)
  • 따로 용량을 지정할 필요없이 사용한만큼 용량이 증가 <-> EBS는 미리 크기를 지정해야함.
• 페타 바이트 단위까지 확장 가능
• 몇천개의 동시 접속 유지 가능
• 데이터는 여러 가용면적에 나누어 분산 저장.
• 쓰기 후 읽기(Read After Write) 일관성
• private Service: AWS 외부에서 접속 불가능
  • AWS 외부에서 접속하기 위해서는 VPN 혹은 Direct Connect 등으로 별도로 VPC와 연결 필요
• 각 가용영역에 Mount Target을 두고 각각의 가용영역에 해당 Mount Target으로 접근
• linux만 사용 가능
• 하나의 서브넷은 하나의 가용영역태에 존재

퍼포먼스 모드

• General Purpose: 가장 보편적인 모드, 거의 대부분의 경우 사용 권장.
• Max IO: 매우 높은 IOPS가 필요한 경우
  • 빅데이터, 미디어 처리

Throughput 모드

• bursting throughput: 낮은 throughput일 때 크레딧을 모아 높은 throughput일 때 사용
  • EC2 T 타입과 비슷한 개념
• Provisioned Throughput: 미리지정한 만큼의 throughput을 확보한 후 사용

스토리지 클래스

• EFS Standard: 3개 이상의 가용영역에 보관
• EFS Standard - IA: 3개 이상의 가용영역에 보관, 조금 저렴한 비용 대신 데이터를 가져올 때 비용 발생
• EFS One Zone: 하나의 가용영역에 보관 → 저장된 가용영역의 상황에 영향을 받을 수 있음.
  • 별로 중요하지 않은 데이터 등을 보관
• EFS One Zone - IA: 저장된 가용영역의 상황에 영향을 받을 수 있음. 데이터를 가져올 때 비용발생(가장 저렴)

FSx

• FSx for window File Server
  • EFS의 윈도우즈 버전
  • SMB 프로토콜 활용
  • Microsoft Active Directory와 통합 드의 관리 기능 사용 가능
  • Linux, MacOS등의 다른 OS에서도 활용 가능
• FSx for Lustre
  • 리눅스를 위한 고성능 병렬 스토리지 시스템
  • 주로 머신러닝, 빅데이터등의 고성능 컴퓨팅에 사용
  • AWS 밖의 온프레미스에서 액세스 가능

실습

1. Amazon EFS를 위한 보안 그룹 생성

  1. 인바운드 규칙 => 모든 트래픽

2. Amazon EFS 생성

3. EC2 인스턴스 3개 프로비전

  1. 유저 데이터

    1. 생성한 EFS 마운트

    2. 웹 서버 생성/실행

4. 각 웹 서버에서 스토리지 공유하는 것을 확인

  1. 관리 후 데모로 변경

5. 리소스 정리

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

로드 밸런싱

스케일링 => 많은 인스턴스를 확보하고 고가용성 확보하는 서비스

로드 밸런싱

• 모든 인스턴스를 접속하기 위해서는 IP를 다 알고 있어야 됨.
  • 또 인스턴스가 죽고 다시 새로 생성되면 IP가 변동될 수 있음.
• 인스턴스 관리 비용이 엄청 큼 => 부하 분산 서비스가 필요(ELB)
• 통신 트래픽 알아서 분산, 부하를 분배해주는 서비스

ELB

Elastic Load Balancing은 들어오는 애플리케이션 트래픽을 Amazon EC2 인스턴스, 컨테이너, IP 주소, Lambda 함수와 같은 여러 대상에 자동으로 분산시킵니다. Elastic Load Balancing은 단일 가용 영역 또는 여러 가용영역에서 다양한 애플리케이션 부하를 처리할 수 있습니다. Elastic LoadBalancing이 제공하는 세가지 로드 밸런서는 모두 애플리케이션의 내결함성에 필요한 고가용성, 자동 확장/축소, 강력한 보안을 갖추고 있습니다.
-AWS-

• 다수의 서비스에 트래픽을 분산시켜주는 서비스
• Health Check: 직접 트래픽을 발생시켜 Instance가 살아있는지 체크
• Auto Scaling과 연동 가능
• 여러 가용영역에 분산 가능
• 지속적으로 IP 주소가 바뀌며 IP 고정 불가능: 항상 도메인 기반으로 사용
• 총 네가지 종류
  • Application Load Balancer
    • 트래픽을 모니터링하여 라우팅
    • ex) image.sample.com -> 이미지 서버
      web.sample.com -> 웹 서버로 트래픽 분산(클라이언트가 접속한 주소에 맞게)
  • Network Load Balancer
    • TCP 기반 빠른 트래픽 분산
    • Elastic IP 할당 가능 => IP 고정 역할.
  • Classic Load Balancer
    • 예전에 사용되던 타입으로 현재는 잘 사용하지 않음.
  • Gateway Load Balancer
    • 먼저 트래픽을 체크
    • 가상 어플라이언스 배포/ 확장 관리를 위한 서비스

대상 그룹

• ALB가 라우팅할 대상의 집합
• 구성
  • 3+1가지의 종류
    • (instance + (private)IP + Lambda) + (ALB)
  • Protocol(HTTP, HTTPS, gRPC 등)
  • 기타 설정
    • 트래픽 분산 알고리즘, 고정 세션 등

실습

1. 시작 템플릿 변경

2. 유저 데이터 작성

  1. 사용자 스크립트를 통해서 미리 정의된 템플릿이 올라가게 됨.

#!/bin/bash
INSTANCE_ID=$(curl -s http:169.254.169.254/latest/meta-data/instance-id)
yum install httpd -y
echo ""$INSTANCE_ID"" >> /var/www/html/index.html
service httpd start

3. 대상그룹 생성

4. 로드 밸런서 생성

5. 오토 스케일링 그룹 편집 -> 로드 밸런싱 편집

6. 오토 스케일링에서 생성되는 모든 인스턴스는 로드 밸런싱을 타게 됨.

7. ELB의 헬스 체크를 통해서 확인

8. MyWebALB-218739584.ap-northeast-2.elb.amazonaws.com 로 접근하면 두개의 인스턴스에 접근

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

Scaling

instance를 늘리거나 컴퓨팅 파워를 늘리는 것.

• Vertical Scale(Scale Up)
  • 인스턴스의 성능을 높이는 것.
  • 비용과 성능이 비례해서 올라가지 않음
• Horizontal Scale(Scale Out)
  • 규모를 늘리는 것
  • 비용과 성능이 비례
  • 지원하기 위한 아키텍처 및 소프트웨어를 설계해야함.
  • AWS의 Auto Scaling 방법

Auto Scaling

AWS Auto Scaling은 애플리케이션을 모니터링하고 용량을 자동으로 조정하여, 최대한 저렴한 비용으로 안정적이고 예측 가능한 성능을 유지합니다. AWS Auto Scaling을 사용하면 몇분만에 손쉽게 여러 서비스 전체에서 여러 리소스에 대해 애플리케이션 규모 조정을 설정 할 수 있습니다.
-AWS-

Scaling을 자동화 하는 서비스.

목표

• 정확한 수의 EC2 인스턴스를 보유하도록 보장
  • 그룹의 최소 인스턴스 숫자와 최대 인스턴스 숫자 설정 가능
    • 최소 숫자 이하로 내려가지 않도록 인스턴스 숫자를 유지(인스턴스 추가)
    • 최대 숫자 이상 늘어나지 않도록 인스턴스 숫자 유지(인스턴스 삭제)
  • 다양한 스케일 정책 적용 가능
    • ex) CPU 부하에 따라 인스턴스 크기를 늘리기
  • 가용 영역에 인스턴스가 골고루 분산될 수 있도록 인스턴스 분배 => 서비스 장애에 대비(최소화)

오토 스케일링 구성

• 시작 구성(launch configurations) / 시작 템플릿(launch template): 무엇을 실행시킬 것인가
  • EC2 타입, 사이즈
  • AMI
  • 보안그룹, Key, IAM
  • 유저 데이터
• 모니터링을 언제 실행시킬 것인가?: 상태 확인용
  • ex) CPU 점유율이 일정 퍼센트를 넘어섰을 때 추가로 실행 or 2개 이상이 필요한 스택에서 EC2 하나가 죽었을 때
  • CloudWatch(and/or) ELB와 연계
• 설정: 얼마나 어떻게 실행시킬 것인가
  • 최대/최소 원하는 인스턴스 숫자
  • ELB와 연동 등.

Flow

1. 특정 인스턴스가 모종의 이유로 다운이 되었을 때
2. Auto Scaling Group이 감지.
3. 시작 구성에 맞는 EC2를 auto Scaling 클러스터에 띄워줌.

실습

1. 시작 템플릿을 생성해야함

  1. EC2에서 시작 템플릿 클릭 후 생성

  2. EC2 인스턴스를 만드는 것과 비슷하게 진행

  3. 퍼블릭 IP와 실습 종료시 삭제를 권장

2. 오토 스케일링 그룹 설정

  1. Auto Scaling 선택 후 Auto Scaling 그룹 생성

  2. 시작 템플릿 선택 

    1. 가용영역 및 서브넷은 우리가 인스턴스를 띄울 곳

    2. 태그선언 -> 모든 인스턴스에 태그가 붙어서 태그에 적용하면 모든 인스턴스에 영향

3.  인스턴스를 종료시키면 새롭게 인스턴스를 생성하는 것을 볼 수 있음.

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

EC2 라이프사이클

• AMI가 실행되고 종료될 때까지의 과정
• 중지
  • 중지 중에는 인스턴스 요금 미 청구
  • 단 EBS요금 등 다른 구성요소(Elastic IP 등)은 청구
  • 중지 후 재시작시 퍼블릭 IP 변경(프라이빗 IP는 변경이 안됨)
  • EBS를 사용하는 인스턴스만 중지가능: 인스턴스 저장 인스턴스는 중지 불가
• 재부팅
  • 인스턴스 다시 시작
  • 재부팅시에는 퍼블릭 IP 변동 없음
• 최대 절전 모드
  • 메모리 내용을 보존해서 재 시작시 중단지점에서 시작할 수 있는 정지모드
  • 메모리는 휘발성, 하드 디스크는 영속성
  • 다시 시작하더라도 메모리에 없기에 실행 불가.

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

EC2 구성

• 하드 디스크 => EBS
• 랜카드 => ENR

EBS란

Amazon Elastic Block Store(EBS)는 AWS 클라우드의 Amazon EC2 인스턴스에 사용할 영구 블록 스토리지 볼륨을 제공합니다. 각 Amazon EBS 볼륨은 가용 영역내에 자동으로 복제되어 구성요소 장애로부터 보호해주고, 고 가용성 및 내구성을 제공합니다. Amazon EBS 볼륨은 워크로드 실행에 필요한 지연시간이 짧고 일관된 성능을 제공합니다. Amazon EBS를 사용하면 단 몇분내에 사용량을 많게 또는 적게 확장할 수 있으며, 프로비저닝한 부분에 대해서만 저렴한 비용을 지불합니다.
-AWS-

EC2 구성

EBS 소개

• 가상의 하드 드라이브
• EC2가 종료되어도 유지 가능

• EC2와 EBS는 분리되어있고, EC2는 컴퓨팅 EBS는 데이터 저장소. 그 둘은 네트워크 통신으로 이루어짐
• 인스턴스 정지 후 재기동 가능
• 하나의 EBS를 여러 EC2 장착 가능(EBS Multi Attach)
• 루트 볼륨으로 사용시 EC2가 종료되면 같이 삭제 됨
  • 단 설정을 통해 EBS만 따로 존속 가능
• EC2와 같은 가용영역에 존재
• 총 5가지 타입을 제공
  • 범용(General Purpose or GP3): SSD
  • 프로비저닝된 IOPS(Provisioned IOPS or io2): SSD
  • 쓰루풋 최적화(Throughput Optimized HDD or st1)
  • 콜드 HDD(SC1)
  • 마크네틱(Standard)

Snapshot

EBS를 저장하는 효율적인 방법

• 특정 시간에 EBS 상태의 저장본
  • EBS에 사진을 찍어둔 개념
• 필요시 스냅샷을 통해 특정 시간의 EBS를 복구 가능
• S3에 보관(S3 ⇒ Amazon에서 제공하는 파일 저장소)
  • 증분식 저장
• 상태를 저장하는 것이 아닌 Action을 저장.
  • Action을 저장하면 데이터 용량이 적음

AMI(Amazon Machine Image)

• EC2 인스턴스를 실행하기 위해 필요한 정보를 모은 단위
  • OS, 아키텍쳐 타입(32bit or 64bit), 저장 공간 용량등
• AMI를 사용하여 EC2를 복제하거나 다른 리전 → 계정으로 전달 가능
• 스냅샷을 기반으로 AMI 구성가능
• 구성
  • 1개 이상의 EBS 스냅샷
  • 인스턴스 저장 인스턴스의 경우 루트 볼륨에 대한 템플릿(운영체제, 애플리케이션 서버, 애플리 케이션)
  • 사용 권한(어떤 AWS 어카운트가 사용할 수 있는지)
  • 블록 디바이스 매핑(EC2 인스턴스를 위한 볼륨 정보 = EBS가 무슨 용량으로 몇개 붙는지)
• 총 두가지 타입
  • EBS 기반 or 인스턴스 저장 기반(⇒ 속도를 위해)
    • 인스턴스가 삭제되면 삭제 됨 ⇒ 영구적이지 않음.
• 타입에 따른 AMI의 생성방법
  • EBS: 스냅 샷을 기반으로 루트 디바이스 생성
  • 인스턴스 저장: S3에 저장된 템플릿을 기반으로 생성

실습

1. 인스턴스 생성 후 httpd 설치.

1. 이미지 생성 클릭

1. 인스턴스 시작 -> AMI t 선택 -> MyEC2Clone

1. 인스턴스 생성됨.

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

인스턴스 유형

• 각 인스턴스 별로 사용목적에 따라 최적화
  • 메모리 위주, CPU 위주, 그래픽 카드 위주 등등
• 타입별로 이름 부여
  • t, m, inf 타입 등
• 타입별 세대별로 숫자 부여
  • m5 = m인스턴스의 5번째 세대
• 아키텍처 및 사용기술에 따라 접두사
  • t4g = t4인스턴스 중에 AWS Gravition 프로세서를 사용(g)

인스턴스 크기

• 인스턴스의 CPU 갯수, 메모리 크기, 성능 등으로 사이즈 결정
• 크기가 클수록
  • 더 많은 메모리
  • 더 많은 CPU
  • 더 많은 네트워크 대역폭
  • EBS와의 통신 가능한 대역폭 EBS ⇒ 가상의 하드 드라이브

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

On-Demand

• 실행하는 인스턴스에 따라 시간 또는 초당 컴퓨팅 파워로 측정된 가격을 지불
• 약정은 필요 없음
• 장기적인 수요 예측이 힘들거나 유연하게 EC2를 사용하고 싶을 때
• 한번 써보고 싶을 때

Spot Instance

• 경매 형식으로 시장에 남는 인스턴스를 저렴하게 구매해서 쓰는 방식
  • 수요에 따라 스팟 인스턴스의 가격은 계속 변동
  • 내가 지정한 가격보다 현재 가격이 낮다면 사용
  • 내가 지정한 가격보다 현재 가격이 높다면 반환
• 최대 90%정도 저렴
• 반환 시간 예측 불가능
  • 인스턴스가 확보되고 종료되는 것을 반복해도 문제없는 분산 아키텍처 필요
• 시작 종료가 자유롭거나 추가적인 컴퓨팅 파워가 필요한 경우
  • 빅데이터 처리, ML등 많은 인스턴스가 필요한 작업에 사용

예약 인스턴스(Reserved Instance-RI)

• 미리 일정기간(1년 or 3년) 약정해서 쓰는 방식
• 최대 75% 저렴
• 수요 예측이 확실할 때
• 총 비용을 절감하기 위해 어느정도 기간의 약정이 가능한 사용자

전용 호스트(Dedicated)

• 가상화된 서버에서 EC2를 빌리는 것이 아닌 지정된 물리 서버에서 EC2를 대여
• 라이센스 이슈(Windows Server 등)
• 규정에 따라 필요한 경우
• 보안적인 이유, 규정에 따른 이유, 퍼포먼스 이슈(CPU Steal 등)

기타 특징

• 가격순서
  • 스팟 < 예약 < 온디맨드 < 전용
• EC2의 가격 모델은 EBS와는 별도
  • EBS는 사용한만큼 지불
• 기타 데이터 통신등의 비용은 별도로 청구
  • 참고로 AWS는 AWS 바깥으로 나가는 트래픽에 대해서만 요금을 부과