Computer Science Knowledge Storage

해당 포스팅은 AWS 강의실(https://www.youtube.com/@AWSClassroom)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

네 자신의 불행을 생각하지 않게 되는 가장 좋은 방법은 일에 몰두하는 것이다.
Ludwig van Beethoven

클라우드 컴퓨팅

클라우드 컴퓨팅은 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한만큼 비용을 지불하는 것을 말함
-AWS-
* 온디멘드: 수요에 반응함

서버 - 클라이언트 아키텍처

1. User A가 정보를 B에게 보냄
2. 그에 대한 B의 정보를 A에게 보냄

여기서 유저가 세명이 되면?

1. A는 B와 C에게 정보를 보내고
2. B는 C와 A에게 B의 정보를 보내고
3. C는 A와 B에게 C의 정보를 보냄.

유저가 더 많아지면??

• 플로우가 복잡해짐
• 굉장한 부하가 발생하고 싱크를 맞추기가 너무 어려움

서버의 등장

• 스킬을 사용할 수 있는지 체크(마나, 레벨 등 체크)
• 범위 내에 사용자가 있는지
• 맞은 동작 체크(hp 깎이거나 죽는)

데이터 센터

• 서버들이 모여있는 공간.
• 애플리케이션의 서버를 호스팅하는 실제 시설
  • 컴퓨팅 시스템을 위한 하드웨어
  • 네트워킹 장비
  • 전원 공급 장치, 전기시스템, 백업 발전기
  • 환경 제어장치(에어컨, 냉각 장치, 팬 등)
  • 운영 인력, 기타 인프라

문제점

• 운영에 비용이 많이 소요됨
  • 건물 유지비용, 서버 구매비용, 셋업 유지 보수 등
  • 한번 구매하면 수요에 상관없이 계속 보유해야함.
• 느린 구축시간
  • 유저의 수요에 빠르게 대처하기 어려움
  • 장애 기기를 교체하는 시간 느림.

클라우드

• 클라우드 => 컴퓨팅을 빌려쓰는 것.
• 리소스를 사용하고 반납

장점

• 자본 비용을 가변 비용으로 개체
  • 데이터 센터 구축비용, 서버 구매 비용 => 운영비 / 자본비용
  • 막대한 초기 비용 대신 쓰는만큼 비용 지불
• 규모의 경제로 얻는 이점
  • 한개를 사는 것보다 100개를 사는게 단가가 낮음 => 규모의 경제
  • AWS의 규모의 경제로 인한 이득을 누릴 수 있음.
  • AWS의 모든 고객과 공동 구매하는 효과.

• 용량 추정이 불필요
  • 클라우드는 사용량을 따라감
• 속도 및 민첩성 개선
  • 몇번의 클릭으로 바로 리소스 확보 가능
  • 개발 비용 절감
• 데이터 센터 운영 및 유지 관리에 비용 투자 불필요
  • 인프라 관리가 아닌 비즈니스에 자원 집중 가능
• 빠른 확장성
  • 몇번의 클릭으로 전세계에 서비스 가능.

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

Docker Compose

• 여러 컨테이너를 일괄적으로 정의하고 실행할 수 있는 툴
  • 하나의 서비스를 운영하기 위해서는 여러개의 애플리케이션이 동작해야함.
  • 컨테이너화 된 애플리케이션들을 통합 관리할 수 있음
  • 옵션을 기존 명령어 형태가 아닌 yaml의 문법에 맞춰서 작성하면 docker compose가 컨테이너 관리

https://docs.docker.com/compose/install/linux/#install-the-plugin-manually

Docker Compose로 컨테이너 실행

몇가지 example:

https://docs.docker.com/guides/workshop/08_using_compose/#use-docker-compose

1. 서비스 디렉토리 설정

mkdir webserver
cd webserver

2. docker-compose.yml 생성

cat > docker-compose.yml
version: "3"
services:
  web:
    image: httpd:latest
    ports:
      - "80:80"
    links:
      - mysql:db
    command: apachectl -DFOREGROUND
  mysql:
    image: mysql:latest
    command: mysqld
    environment: MYSQL_ROOT_PASSWORD: pass

3. docker-compose 명령어

docker-compose up -d # 실행시켜줘. (백그라운드로 -d)
docker-compose ps # 현재 디렉토리의 컨테이너 상태 확인
docker-compose scale mysql=2 # MySQL 컨테이너 두개로
docker-compose ps
docker-compose down # 컨테이너 완전히 종료
### 이외에도 많은 명령어가 있음..

빌드에서 운영까지

1. 서비스 디렉토리 생성
2. 빌드 파일 생성
3. yaml 파일 생성
4. 도커 컴포즈 실행

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

Container 통신

• docker daemon이 start하게 되면 docker0라는 도커 네트워크 인터페이스가 생김.
  • virtual ethernet bridge: 172.17.0.0/16
    • bridge network: 컨테이너의 IP와 실제 물리 장비가 가지고 있는 IP연결
  • L2 통신기반
  • container 생성 시 veth 인터페이스 생성
  • 모든 컨테이너는 외부 통신을 docker0를 통해 진행(컨테이너가 생성되면 가상 IP가 +1씩 되면서 생성)
  • container running 시 172.17.X.Y로 IP 주소할당(IP 주소 변경 및 포트포워딩 기능 제공)
  • 컨테이너가 통신하게되면 bridge network가 gateway의 역할을 하므로 호스트의 IP로 변환(NAT 지원)해서 외부로 통신할 수 있도록 도와줌.

ip addr #docker0 ip 확인
brctl show #bridge interface 확인

docker run -it --name c1 busybox # 첫번째 컨테이너 아마도 docker0 ip + 1
ip addr

docker run --it --name c2 busybox # 두번째 컨테이너
docker run -d -p 80:80 --name web1 nginx

curl 172.17.0.4 # => nginx 연결.

# docker0 가 NAT 서비스 지원
iptables -t nat -L -v

Container 포트 외부 노출

• port-forwarding
  • container port를 외부로 노출시켜 외부 연결 허용
  • iptables rule을 통한 포트 노출
    • -p hostPort:containerPort
    • -p containerPort => 랜덤 포트:containerPort 매핑
    • -P => 랜덤 포트 자동 생성
  • docker run --name web -d -p 80:80 nginx:1.14
  • iptables -t nat -L -n -v
    • 도커 IP와 외부 IP 테이블 확인

docker run --name web -d -p 80:80 --name web1 nginx:1.14
curl localhost:80 # 연결 가능.

docker run --name web -d -p 80 --name web2 nginx:1.14
docker ps # 외부에서 들어올 수 있는 포트 확인. 현재는 29154 -> 80

docker run --name web -P --name web3 nginx:1.14 # 도커 파일에 정의된 EXPOSE 80(만약 이게 90이였다면)
docker ps # 외부에서 들어올 수 있는 포트 확인. 현재는 29154 -> 80(얘가 90이 될 것)

Container 네트워크 추가

• docker0에 ip static으로 부여 X
• user-defined bridge network(myent) 생성
  • --subent을 생략하게 되면 172.18.X.Y로 자동생성
  • --gateway를 고정할 수도 있지만 생략하면 172.18.X.1
  • --ip: static ip 설정 가능
  • --net <bridge networkName>하면 해당 bridge 네트워크에 파생된 컨테이너 생성

docker network create --driver bridge --subnet 192.168.100.0/24 --gateway 192.168.100.254 mynet
docker network ls

docker run -d --name web -p 80:80 nginx:1.14
curl local host

docker run -d --name appjs --net mynet --ip 192.168.100.100 -p 8080:8080 smlinux/appjs # --net mynet. mynet을 사용하겠다.
curl localhost:8080

Container 간 통신

• --link: 두 컨테이너 연결<containerName>:<aliasName>

docker run -d --name mysql -v /dbdata:/var/lib/mysql 
-e MYSQL_ROOT_PASSWORD=wordpress 
-e MYSQL_PASSWORD=wordpress mysql:5.7

docker ps
cd /dbdata

docker run -d --name wordpress --link mysql:mysql 
-e WORDPRESS_DB_PASSWORD=wordpress -p 80:80 wordpress:4

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

Container Volume

• 컨테이너 이미지는 read-only(컨테이너로 올리면 수정가능)
• 컨테이너에 추가되는 데이터들은 별도의 RW 레이어에 저장.
  • RO 와 RW 하나같이 보이게 하는 시스템 ⇒ union file system
• 컨테이너에 추가되는 이미지는 별도의 레이어에서 생성

Data보존

• rw(/var/lib/mysql)에 저장. ⇒ 대신에 특정 저장소에 저장하도록.(/dbdate) 호스트의 DB 데이터 영구보존
• docker run -d --name db
  -v /dbdata:/var/lib/mysql => 디스크에 저장하도록
  -e MYSQL_ALLOW_EMPTY_PASSWORD=pass
  mysql:latest
• -v <hostpath>:<container mount path>(/var/lib/mysql 내용을 hostpath에 저장)
  -v <hostpath>:<container mount path>:<read write mode>
  -v <container mount path>(/var/lib/docker/volume/UUID/_data 디렉토리에 저장)
• docker run -v /webdata:/webdata -d —name df smlinux/df:latest
  docker run -d -v /webdata:/usr/share/nginx/html:ro -d ubuntu:latest

컨테이너끼리 데이터 공유하기

• df 명령어: 디스크 사용량을 모니터링할 때 사용

10초마다 디스크 사용량을 index.html에 작성하는 code

cat df.sh

#!/bin/bash
mkdir -p /webdata
while true
do
	df -h / > /webdata/index.html
	sleep 10
done

컨테이너 빌드

# dockerfile
FROM ubuntu:18.04
ADD df.sh /bin/df.sh
RUN chmod +x /bin/df.sh
ENTRYPOINT ["/bin/df.sh"]

도커 실행

docker run -d -v /webdata:/webdata —name df smlinux/df:latest

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

Container 하드웨어 리소스 제한

• 기본으로 컨테이너는 호스트 하드웨어 리소스의 사용제한을 받지 않음.
  • 컨테이너가 필요한만큼 할당해야 함.
• docker command를 통해 제한할 수 있는 리소스
  • CPU
  • Memory
  • Disk io
  • docker run --help를 통해 확인 

Memory 리소스 제한

• 제한 단위 b(byte), k(KB), m(MB), g(GB)
• --memory, -m
  
  • 컨테이너가 사용할 최대 메모리양 지정
  • 할당된 것보다 더 많은 메모리 사용시 죽어버림
• --memory-swap
  
  • 컨테이너가 사용할 스왑 메모리 영역에 대한 설정
  • 메모리 + 스왑 메모리
  • 생략시 메모리의 2배가 설정
• --memory-reservation
  
  • --memory 값보다 작은 값으로 구성하는 소프트 제한 값 설정
• --oom-kill-disable
  
  • OOM Killer가 프로세스 kill하지 못하도록 보호

CPU 리소스 제한

• --cpus
  
  • 컨테이너에 할당할 CPU core 수 설정
  • --cpus="1.5" 컨테이너가 최대 1.5개의 CPU 파워 사용 가능
  • 연산 작업이 많은 컨테이너에 cpu 수를 늘리면 좋음.
• --cpuset-cpus
  
  • 컨테이너가 사용할 수 있는 CPU나 코어를 할당. cpu index는 0부터
  • --putset-cpus=0-4
• --cpu-share
  
  • 컨테이너가 사용하는 CPU 비중을 1024 값을 기반으로 설정.
  • --cpu-share 2048 기본값보다 두배 많은 CPU 자원 할당.

Block IO 제한

• --blkio-weight, --blkio-weight-device
  • Block IO의 Quota를 설정할 수 있으며 100~1000까지 선택
  • default 500
• --device-read-bps, --device-write-bps
  • 특정 디바이스에 대한 읽기와 쓰기 작업의 초당 제한을 kb, mb, gb 단위로 설정
• --device-read-iops, --device-write-iops
  • 컨테이너의 read/write 속도의 쿼터를 설정.
  • 초당 quota를 제한해서 IO를 발생시킴. 0이상의 정수로 표기
  • 초당 데이터 전송량 = IOPS * 블럭 크기(단위 데이터 용량)

컨테이너 사용 리소스를 확인하는 모니터링 툴

• docker monitoring commands
  • docker stat: 실행중인 컨테이너의 런타임 통계
    • docker stats [options] [container]
  • docker event: 도커 호스트의 실시간 event 정보를 수집해서 출력
    • docker events -f container=<MAME>
    • docker image -f container=<MAME>
• docker monitoring application
  • cAdvisor
    • https://github.com/google/cadvisor

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

현재까지 프로세스

• 컨테이너 빌드
• Registry에 보관

Container Image 관리

• Container Life Cycle에 관한 내용
• 이미지 검색: docker search [option] <imageName:tag>
• 이미지 다운로드: docker pull [option] <imageName:tag>
  • <imageName:tag> 이름으로 repository에서 관리.
  • 같은 버전이여도 이름이 다르면 repository에서 따로 저장됨.
  • Image는 imageID로 구분하기에 같은 imageId를 가진 두개의 image가 생성됨.
• 다운받은 이미지 목록 출력: docker images
• 다운받은 이미지 상세보기: docker inspect [option] <containerName>
• 이미지 삭제: docker rmi [option] <imageName:tag>

Container 실행 Life Cycle

• docker host에 다운받은 이미지를 컨테이너화: docker create [option] <imageName:tag>
  • 기본이 백그라운드에서 동작
  • docker create --name webserver nginx:1.14
• docker daemon에 컨테이너 실행: docker start [option] <container>
  • create 상태인 컨테이너를 running
  • docker start webserver
• 컨테이너 생성 및 실행: docker run [option] <imageName:tag>
  • pull -> create -> start를 한번에 실행해주는 명령어.
  • docker run --name webserver -d nginx:1.14
• 실행중인 컨테이너 확인: docker ps [option]
  • docker ps
• 실행중인 컨테이너 상세보기: docker inspect [option] <imageName:tag>
  • ip addr, layer, resource 등등을 보여줌
  • docker inspect webserver
• 동작중인 컨테이너 중지: docker stop [option] <container>
  • docker stop webserver
• 컨테이너 삭제: docker rm [option] <container>
  
  • running 중인 컨테이너는 삭제 불가
  • docker rm webserver

Container 확인

• 컨테이너 동작되는 프로세스 확인: docker top [option] <container>
  • docker top webserver
• 현재 컨테이너의 Log 정보확인: docker logs [option] <container>
  • docker logs webserver
• 현재 컨테이너에 추가 명령어 실행: docker exec [option] <container>
  • docker exec webserver /bin/bash
• foreground로 실행중인 컨테이너에 연결: docker attach [option] <container>
  • docker attach centos

Example

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

Docker Registry

• 컨테이너 보관창고
  • 컨테이너를 모아놓은 저장소
• 종류
  • Registry: 컨테이너 이미지를 저장하는 저장소
  • Docker hub: hub.docker.com
  • private registry: 사내의 컨테이너 저장소

Docker hub 사용하기(public registry)

• https://hub.docker.com
  • 도커 계정을 만들어야함.
• image 종류: official images(도커 허브가 운영하는 이미지), verified publisher, etc
• 이미지 검색: docker search <keyword>
  • repository 이름이나 description에 정의된 이름에서 찾음.
• 이미지 다운: docker pull <repository name>:<version>
• docker hub 로그인: docker login
  • docker logout 하기 전까지 항상 로그인 유지
  • 아래 보이는 경로에 로그인 정보 저장.

• docker Image name 변경: docker tag httpd:latest hiro/httpd:latest
  • 나의 docker hub repository에 푸시하기 위해서는 내 계정 정보가 이미지에 저장되어 있어야 함.
• docker hub에 넣기: docker push hiro/httpd:latest

Private Registry 구축

• registry 컨테이너를 이용해 Private 컨테이너 운영
  • docker run -d -p 5000:5000 --restart always --name registry registry:2
  • registry 컨테이너 다운받고 실행.
• image repository ⇒ private registry 구축.
  • localhost:5000/ubuntu:18.04
  • docker.example.com:5000/ubuntu:18.04
  • docker hub와 마찬가지로 localhost:5000과 같은 Host 명이 있어야 Private registry에 업로드 가능

docker tag httpd:latest localhost:5000/httpd:latest
docker images localhost:5000/httpd
docker push localhost:5000/httpd:latest

해당 포스팅은 이성미 강사님의 따라 배우는 도커(따배도, https://www.youtube.com/@ttabae-learn)를 보고 공부한 내용을 정리한 블로그입니다.

아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

오늘은 고통스럽다.
내일은 더 고통스럽다.
그리고 내일 모래는 아름다울 것이다.
Mǎ Yún(알리바바 그룹 창업자 겸 회장)

컨테이너 대상

개발한 애플리케이션(실행파일)과 운영환경이 모두 들어있는 독립된 공간

• 개발한 프로그램과 실행환경을 모두 컨테이너화
• MSA 환경의 Polyglot 애플리케이션 운영

💡 MSA(Micro Service Architecture)
짧은 life Cycle을 가진 요즘 프로그래밍들에 대해 재빠른 대응 가능

컨테이너 만드는 법 => DockerFile

• Container를 만들 수 있도록 도와주는 명령어 집합.
• Dockerfile을 통해서 컨테이너 build!

Dockerfile

• 쉽고 간단하고 명확한 구문을 가진 text file로 Top-Down 해석.
• 컨테이너 이미지를 생성할 수 있는 instruction을 가짐.
• 대소문자를 구분하지 않으나 가독성을 위해 사용

# 디렉토리 생성
mkdir build
cd build

# 실행파일 작성
vi hello.js

# 도커파일 작성
vi dockerfile

# 도커파일 내용
FROM node:12 # base image 생성
COPY hello.js / # 컨테이너의 루트 디렉토리에 hello.js 복사
CMD ["node", "/hello.js"] # 실행

# image 생성
docker build -t imagename:tag .;
docker build -t hellojs:latest .;

Dockerfile 문법

컨테이너 배포

• docker build -t hellojs:latest .
  • docker host에서 container 이미지 생성
  • image name은 hellojs tag는 latest
• docker login
  • 인증
• docker push hellojs:latest
  • docker hub에 push

nodejs 기반 애플리케이션 컨테이너 만들기

만들어놓은 컨테이너 배포하기

• docker login
  • docker hub에 로그인
• docker <userID>
• docker tag <oldname> <newName>
  
  • image 바꾸기

• docker push <userId>/<images>:<tag>
  • user 계정으로 container 이미지 업로드.