Computer Science Knowledge Storage

Commit은 데이터베이스에서 트랜잭션 작업을 영구적으로 저장하는 명령입니다. 트랜잭션이 성공적으로 완료되었음을 나타내며, 이 시점 이후에는 롤백이 불가능합니다.

트랜잭션은 데이터베이스에서 하나의 작업 단위를 의미하며, ACID 특성을 만족해야 합니다. 이 특성에는 원자성, 일관성, 고립성, 지속성이 포함됩니다. 트랜잭션은 데이터의 무결성과 일관성을 보장합니다.

격리 수준은 트랜잭션 간의 동시성 제어를 정의하며, READ UNCOMMITTED, READ COMMITTED, REPEATABLE READ, SERIALIZABLE 네 가지 수준이 있습니다. 높은 격리 수준일수록 데이터 일관성이 강화되지만 성능 오버헤드가 커질 수 있습니다.

• 면접을 위한 CS 전공지식 노트(주홍철 저) -길벗
•  

1정규형은 테이블의 모든 속성이 원자값만을 가져야 한다는 조건입니다. 즉, 한 칸에 여러 값이 아닌 하나의 값만 저장되도록 테이블을 구성합니다. 이를 통해 데이터 중복과 불필요한 복잡성을 줄입니다.

2정규형은 1정규형을 만족하면서, 기본 키의 부분적 종속성을 제거하는 것입니다. 즉, 기본 키의 일부에만 의존하는 속성을 별도로 분리하여 테이블을 재구성합니다.

3정규형은 2정규형을 만족하면서, 이행적 종속성을 제거하는 것입니다. 즉, 비기본 속성이 다른 비기본 속성에 의존하지 않도록 테이블을 분리하여 데이터의 일관성을 높입니다.

BCNF는 3정규형을 강화한 형태로, 모든 결정자가 후보 키가 되도록 테이블을 설계합니다. 이를 통해 복잡한 종속성을 제거하고 데이터의 무결성을 강화합니다.

반정규화는 성능 향상을 목적으로 데이터의 중복을 허용하거나 테이블을 결합하여 정규화 수준을 낮추는 것을 의미합니다. 이는 읽기 작업이 많은 환경에서 쿼리 성능을 향상시키는 데 유용합니다.

DDL(Data Definition Language)은 데이터베이스 구조를 정의하거나 변경하는 데 사용되며, CREATE, ALTER, DROP과 같은 명령어가 포함됩니다.

DML(Data Manipulation Language)은 데이터를 조회하거나 수정, 삭제, 삽입하는 데 사용되며, SELECT, INSERT, UPDATE, DELETE 등이 있습니다.

DCL(Data Control Language)은 데이터베이스 접근 권한을 제어하는 명령으로, GRANT와 REVOKE가 대표적입니다. 

DROP은 테이블 자체를 삭제하며, 구조와 데이터가 모두 제거됩니다. 삭제 후에는 복구가 불가능하며, 테이블과 관련된 인덱스 및 참조 관계도 삭제됩니다.
TRUNCATE는 테이블의 모든 데이터를 삭제하지만, 테이블 구조는 유지됩니다. 로그 기록이 간소화되므로 대량 데이터 삭제에 효율적입니다.
DELETE는 데이터를 행 단위로 삭제하며, WHERE 조건을 사용할 수 있어 특정 데이터만 삭제할 수 있습니다. DELETE는 로그 기록을 남기므로 트랜잭션을 통해 롤백이 가능합니다.

SQL Injection은 사용자가 입력한 데이터를 SQL 쿼리에 삽입하는 과정에서 악의적인 SQL 코드를 주입하여 데이터베이스를 공격하는 기법입니다. 이를 통해 데이터 유출, 변경, 삭제 등이 가능하며, 심각한 보안 위협이 됩니다.

이를 예방하기 위해, 첫째, Prepared Statement나 Parameterized Query를 사용하여 쿼리와 데이터를 분리합니다.

둘째, 입력값에 대한 유효성 검사를 철저히 수행하고, 셋째, 데이터베이스 계정을 최소 권한 원칙에 따라 설정합니다.

인덱스는 테이블의 데이터를 빠르게 조회하기 위해 사용하는 데이터 구조입니다. 책의 목차와 유사하며, 특정 열의 값을 기준으로 데이터의 위치를 빠르게 찾을 수 있습니다. 인덱스를 사용하면 SELECT와 같은 읽기 작업의 성능이 크게 향상됩니다. 그러나, INSERT, UPDATE, DELETE와 같은 쓰기 작업에는 오버헤드가 발생할 수 있습니다.

MySQL 기준으로 인덱스는 일반적으로 B-Tree 구조를 사용하여 동작합니다. B-Tree는 데이터를 균형 있게 저장하여 탐색, 삽입, 삭제 시 일정한 성능을 보장합니다. 데이터 검색 시, 루트 노드에서부터 시작해 리프 노드까지 탐색하며, 해당 키 값을 빠르게 찾습니다. 또한, 자주 사용되는 데이터에 대해 캐싱을 통해 접근 속도를 더 향상시킵니다.

클러스터링 인덱스는 테이블의 데이터가 인덱스 키 값에 따라 물리적으로 정렬되어 저장되는 방식입니다. 기본 키가 클러스터링 인덱스로 사용되는 경우가 많으며, 동일한 키 값을 가진 데이터가 인접하게 저장됩니다. 이는 범위 검색 시 높은 성능을 발휘하지만, 데이터 삽입이나 업데이트 시 정렬을 유지해야 하므로 비용이 증가할 수 있습니다.

데이터베이스는 데이터를 효율적으로 저장하고 관리하기 위해 조직화된 데이터의 집합입니다.

이는 데이터를 저장할 뿐만 아니라, 데이터에 대한 접근, 관리, 수정, 삭제를 지원하며, 여러 사용자와 애플리케이션이 데이터를 공유할 수 있도록 설계되었습니다.

주요 특징으로는 데이터의 무결성 유지, 중복 최소화, 데이터 일관성, 다중 사용자 환경에서의 동시성 제어 등이 있습니다. 이를 통해 데이터베이스는 안정성과 효율성을 제공하며, 관리 시스템(DBMS)을 통해 이러한 작업을 처리합니다.

스키마는 데이터베이스의 구조와 설계를 정의한 것으로, 데이터베이스가 어떻게 구성되어 있는지를 설명합니다.

테이블, 뷰, 인덱스, 제약 조건 등 데이터베이스 객체들의 논리적인 관계를 포함합니다.

데이터 스키마는 크게 물리적 스키마, 논리적 스키마, 그리고 외부 스키마로 나뉘며, 각각 저장 구조, 데이터 모델, 사용자 관점에서의 구조를 정의합니다.

릴레이션의 차수(Degree)는 테이블의 열(Column)의 개수를 의미하며, 테이블이 어떤 속성들을 포함하고 있는지를 나타냅니다. 카디널리티(Cardinality)는 테이블의 행(Row)의 개수를 의미하며, 데이터의 수량을 나타냅니다.

예를 들어, 고객 정보를 저장하는 테이블에 열이 5개 있고, 행이 100개 있다면 차수는 5, 카디널리티는 100이 됩니다.

키는 데이터베이스에서 레코드를 고유하게 식별하기 위해 사용되는 속성 또는 속성의 집합입니다.

기본 키(Primary Key)는 각 행을 유일하게 식별하며, 중복 값과 NULL 값을 허용하지 않습니다.

후보 키(Candidate Key)는 기본 키로 선택될 수 있는 모든 키의 집합입니다.

또한, 외래 키(Foreign Key)는 다른 테이블의 기본 키를 참조하여 테이블 간의 관계를 정의합니다.

이러한 키는 데이터베이스에서 무결성을 유지하고 데이터를 효율적으로 관리하는 데 핵심 역할을 합니다.

무결성 제약 조건은 데이터의 정확성과 일관성을 보장하기 위한 규칙입니다. 주요 제약 조건으로는 다음과 같은 것들이 있습니다.

첫째, 개체 무결성(Entity Integrity)은 기본 키가 NULL이나 중복 값을 가질 수 없도록 보장합니다.

둘째, 참조 무결성(Referential Integrity)은 외래 키가 참조하는 테이블의 값과 일치해야 함을 보장합니다.

셋째, 도메인 무결성(Domain Integrity)은 속성의 값이 정의된 데이터 타입과 범위 내에 있어야 함을 보장합니다.

이러한 제약 조건은 데이터베이스의 신뢰성과 안정성을 유지하는 데 필수적입니다.

데이터베이스는 일정한 규칙, 규약을 통해 구조화되어 저장되어 있는 데이터의 모음입니다. 이를 관리하는 시스템을 DBMS라고 하며 각 DBMS마다 쿼리 언어를 통해 삽입, 삭제, 수정, 조회를 수행할 수 있습니다.

중첩 루프 조인은 중첩 for문과 같은 원리로 조건에 맞는 조인을 하는 방법이며 랜덤 접근에 대한 비용이 많이 증가하므로 대용량의 테이블에서는 사용하지 않습니다.

인덱스는 두번의 탐색이 이루어집니다. 인덱스 리스트와 컬렉션으로 탐색이 진행되기 때문에 읽기 관련 비용이 더 들게 됩니다. 또 데이터 삽입 시나 수정 시에 인덱스가 수정되어야하기 때문에 모든 필드에 대해서 인덱스를 지정하는 것은 오히려 성능 저하를 야기합니다. 따라서 인덱스는 카디널리티가 높은 값으로 인덱스를 설정해야합니다.

데이터베이스 기본

데이터베이스는 일정한 규칙, 혹은 규약을 통해 구조화되어 저장되어 있는 데이터 모음.

데이터베이스를 제어 및 관리하는 통합 시스템을 DBMS라고 하며데이터베이스 안에 있는 데이터들은 특정 DBMS마다 특정 쿼리 언어를 통해 CRUD 가능.

실시간 접근과 동시 공유가 가능.

엔티티

• 여러개의 속성을 가진 명사를 의미.
• 서비스의 요구사항에 맞춰 속성이 정해짐.

약한 엔티티와 강한 엔티티

• 혼자서 존재하지 못하면 약한 엔티티 그 반대면 강한 엔티티

릴레이션

• 데이터베이스에서 정보를 구분하여 저장하는 기본 단위.
• 엔티티에 관한 데이터를 릴레이션 하나에 담아서 관리.
• 관계형 데이터베이스에서는 테이블이라고 하며 NoSQL에서는 컬렉션이라고 함.

테이블과 컬렉션

• RDBMS의 구조: 레코드 - 테이블 - 데이터베이스로 이루어져있음
• NoSQL의 구조: 도큐먼트 - 컬렉션 - 데이터베이스로 이루어져있음.

속성

• 릴레이션에서 관리하는 구체적이고 고유한 이름을 갖는 정보.
• 서비스의 요구사항을 기반으로 관리해야할 필요가 있는 속성들만 엔티티의 속성

도메인

• 릴레이션에 포함된 각각의 속성들이 가질 수 있는 값의 집합.(속성들의 집합)
• 성별이라는 속성에 [남, 여]라는 집합이 도메인

필드와 레코드

• 필드는 속성을 표현한 값.
• 레코드는 테이블에서의 하나의 행. 튜플이라고 하기도 함.

필드 타입

• 타입은 DBMS마다 다름. 여기서는 MySQL 기준
• 숫자 타입
  • TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT 가 존재
• 날짜 타입
  • DATE
    • 날짜 부분만 존재
    • 3바이트용량
  • DATETIME
    • 날짜 + 시간
    • 8바이트 용량
  • TIMESTAMP
    • DATETIME보다 조금 더 큰 범위 지원
    • 4바이트 용량
• 문자 타입
  • CAHR + VARCHAR
    • 그 안에 수를 입력해서 몇자까지 입력할 것인지 지정. CHAR(30)
    • CHAR
      • 고정 길이 문자열. 0 ~ 255 값.
      • CHAR(100)이라고 하고 10글자 지정하면 100글자 저장
    • VARCHAR
      • 가변 길이 문자열. 0 ~ 65,535 사이 값으로 지정
      • 입력된 데이터에 따라 용량을 가변시켜 저장.
      • 길이 저장용 1바이트가 필요.
  • TEXT + BLOB
    • TEXT
      • 큰 문자열 저장에 쓰이며 게시판의 본문을 저장할 때 쓰임
    • BLOB
      • 이미지, 동영상 등 큰 데이터 저장에 사용.
      • 보통 이미지나 동영상의 경로로 사용함.
  • ENUM과 SET
    • ENUM
      • ENUM 형태로 쓰이며, 하나만 선택하는 단일 선택만 가능하고 잘못된 값을 삽입하면 빈 문자열이 대신 삽입.
      • 0, 1등으로 매핑되어 메모리를 적게 사용하는 이점이 있음.
    • SET
      • ENUM과 비슷하지만 여러개의 데이터를 선택할 수 있고 비트 단위의 연산을 할 수 있으며 최대 64개의 요소를 집어넣을 수 있다는 점.

관계

여러개의 테이블이 존재하고 각 테이블 간의 연관 관계가 정의 되어 있음.

1:1 관계

• 두개의 테이블로 나누어 테이블의 구조를 이해하기 쉽게 만들어 줌.

1:N 관계

• 한 유저당 여러개의 상품을 장바구니에 넣을 때

N:M 관계

• 여러명의 학생이 여러개의 강의를 들을 때
• 중간에 테이블을 두어 1:N, 1:M으로 분리함.

키

테이블 자체의 인덱스를 위해 설정된 장치.

기본키

• 유일성과 최소성을 만족하는 키
• 자연키 또는 인조키중에 골라 설정
• 자연키
  • 속성의 값으로 들어가 있는 값.
• 인조키
  • 인공적으로 키를 만드는 것.

외래키

• 다른 테이블의 기본키를 그대로 참조하는 값.
• 개체와의 관계를 식별하는데 사용
• 중복 가능

후보키

• 기본키가 될 수 있는 후보들
• 유일성과 최소성을 동시에 만족하는 키

슈퍼키

• 각 레코드를 유일하게 식별할 수 있는 유일성을 갖춘 키

대체키

• 후보키가 두개 이상일 경우 기본키를 지정하고 나머지 키를 의미

ERD와 정규화 과정

릴레이션을 정의하고 릴레이션 간의 관계를 정의한 것.

ERD 중요성

• 시스템의 요구사항을 기반으로 작성되며 ERD를 기반으로 데이터베이스 구축.
• 구축한 이후에도 디버깅 또는 비즈니스 프로세스 재설계가 필요한 경우 설계도 역할들 담당.

정규화 과정

• 릴레이션 간의 잘못된 종속 관계로 인해 데이터베이스 이상 현상이 일어나 이를 해결하거나 저장 공간을 효율적으로 사용하기 위해 릴레이션을 여러개로 분리하는 과정
• 이상현상이란 데이터베이스의 무결성 등과 같은 현상

정규형 원칙

• 자료의 중복성은 감소해야하며, 독립적인 관계는 별개의 릴레이션으로 표현해야함.

제 1 정규형

• 릴레이션의 모든 도메인은 더이상 분해될 수 없는 원자 값으로만 구성되어 있어야 함.
• 한개의 기본키에 두개 이상의 값을 가지는 반복 집합이 있으면 안됨.

제 2 정규형

• 제 1정규형을 포함하며 부분함수 종속성을 제거한 형태
• 기본키가 아닌 모든 속성이 기본키에 완전 함수 종속적인 것을 의미.
• 릴레이션 분해. 무손실 분해 필요

제 3정규형

• 제 2정규형이며 기본키가 아닌 모든 속성은 이행적 함수 종속을 만족하지 않는 상태
• 이행적 함수 종속: A → B이고 B → C이면 A → C인 것.

보이스/코드 정규형

• 제 3정규형이며 결정자가 후보키가 아닌 함수 종속 관계를 제거하여 모든 결정자가 후보키인 상태.

정규화 과정은 테이블 조인이 필수적이므로 더 느려지기도 함. 비정규화 과정을 거치기도 함.

트랜잭션과 무결성

트랜잭션

• 하나의 논리적인 기능을 수행하기 위한 작업의 단위.
• 데이터베이스에 접근하는 방법 ⇒ 쿼리
• 여러개의 쿼리를 하나로 묶는 단위 ⇒ 트랜잭션

원자성

• all or nothing
• 트랜잭션과 관련된 일이 모두 수행되었거나 되지 않았거나를 보장하는 특징.
• 트랜잭션을 커밋했는데, 문제가 발생하여 롤백하는 경우 그 이후에 모두 수행되지 않음을 보장하는 것.
• 트랜잭션 단위로 여러 로직을 묶을 때 외부 API를 호출하는 것이 있으면 안됨. ⇒ 롤백이 일어났을 때 어떻게 대처해야할지 해결방법이 필요함

💡

커밋과 롤백

커밋은 여러 쿼리가 썽공적으로 처리되었다고 확정하는 명령어. 트랜잭션 단위로 수행되며 변경된 내용이 모두 영구적으로 저장되는 것.

에러나 이슈때문에 트랜잭션 이전으로 돌리기 위해서는 롤백. 롤백이란 트랜잭션으로 처리한 하나의 묶음 과정을 일어나기 전으로 돌리는 일.

데이터의 무결성이 보장. 데이터 변경 전에 변경사항을 쉽게 확인할 수 있고 해당 작업을 그룹화 할 수 있음.

💡
트랜잭션 전파
트랜잭션을 수행할 때 커넥션 단위로 수행하기 때문에 커넥션 객체를 넘겨서 수행해야 함. 여러 트랜잭션 관련 메소드 호출을 하나의 트랜잭션에 묶이도록 하는 것을 트랜잭션 전파라고 함.

일관성

• 허용된 방식으로만 데이터를 변경해야하는 것을 의미.
• 조건과 규칙에 따라 유효함을 가져야함.

격리성

• 트랜잭션 수행 시 다른 트랜잭션이 서로 끼어들지 못하는 것을 의미.
• 병렬 트랜잭션은 서로 격리되어 마치 순차적으로 실행되는 것처럼 작동해야하고
  데이터베이스는 여러 사용자가 같은 데이터에 접근할 수 있어야 함.
• 여러개의 격리 수준으로 나누어 격리성을 보장
  • 위로 갈수록 동시성은 강해지고 격리성은 약해짐.

💡 부작용
팬텀 리드
한 트랜잭션 내에서 동일한 쿼리를 보냈을 때 해당 조회 결과가 다른 경우 ⇒ 조회 갯수가 다른 경우

반복 가능하지 않은 조회
같은 행에 두번 이상 조회가 발생했는데 그 값이 다른 경우 ⇒ 값이 다른 경우

더티 리드
반복가능하지 않은 조회와 유사하며 한 트랜잭션이 실행중 일 때 다른 트랜잭션이 수정되었지만 아직 커밋되지 않은 행의 데이터를 읽을 수 있을 때 발생

• SERIALIZABLE
  • 트랜잭션을 순차적으로 진행 시키는 것.
  • 여러 트랜잭션이 동시에 같은 행에 접근할 수 없음.
  • 해당 행에 대해 격리 시키고 다른 트랜잭션이 이 행에 작업을 하기 위해서는 기다려야함 ⇒ 데드락의 가능성
  • 가장 성능이 떨어짐
• REPEATABLE_READ
  • 팬텀 리드 발생 가능
  • 하나의 트랜잭션이 수정한 해을 다른 트랜잭션이 수정할 수 없도록 막아주지만 추가하는 것은 막지 않는 것.
  • MySQL8.0의 innoDB의 기본 값.
• READ_COMMITTED
  • 팬텀 리드, 반복 가능하지 않은 조회 발생가능
  • 가장 많이 사용되는 격리 수준, 오라클의 기본값.
  • 다른 트랜잭션이 커밋하지 않은 정보는 읽을 수 없음.
  • 어떤 트랜잭션이 접근한 행을 다른 트랜잭션이 수정할 수 있음.
• READ_UNCOMMITTED
  • 팬텀 리드, 반복 가능하지 않은 조회 발생, 더티 리드 발생 가능
  • 하나의 트랜잭션이 커밋되기 전에 다른 트랜잭션에 노출되는 문제가 있지만 가장 빠름
  • 데이터 무결성을 위해 되도록 사용하지 않는 것이 좋음.

지속성

• 성공적으로 수행된 트랜잭션은 영원히 반영되어야 하는 것을 의미.
• 회복 기능이 필요함.
• 데이터베이스는 이를 위해서 체크섬, 저널링, 롤백등의 기능을 제공

무결성

• 데이터의 정확성, 일관성, 유효성을 유지하는 것.
• 개체 무결성
  • 기본 키로 선택된 필드는 빈 값을 허용하지 않습니다
• 참조 무결성
  • 서로 참조 관계에 있는 두 테이블의 데이터는 항상 일관된 값을 유지해야합니다.
• 고유 무결성
  • 특정 속성에 대해 고유한 값을 가지도록 조건이 주어진 경우 해당 값은 항상 고유한 값을 가져야합니다.
• NULL 무결성
  • 특정 속성 값에 NULL이 올 수 없다는 조건이 주어진 경우 그 속성 값은 NULL이 될 수 없다는 제약 조건

데이터베이스의 종류

관계형 데이터베이스

• 행과 열을 가지는 표 형식의 데이터를 저장하는 데이터베이스
• SQL 언어 사용.
• MySQL
  • 대부분의 운영체제와 호환되며 가장 많이 사용
  • C, C++ 기반
  • 인덱스 압축 기술, B-트리 기반, 스레드 기반의 메모리 할당, 빠른 조인, 64개의 인덱스 제공
  • 롤백, 커밋, 이중 암호 지원 보안 등의 기능 제공
  • 스토리지 엔진
    • 모듈식 아키텍처로 쉽게 스토리지 엔진을 바꿀 수 있으며 데이터 웨어 하우징, 트랜잭션 처리, 고가용성 처리에 강점.
    • 스토리지 엔진 위에는 커넥터 API 및 서비스 계층을 통해 MySQL 데이터베이스와 상호 작용
  • 쿼리 캐시
    • 입력된 쿼리 문에 대해 전체 결과 집합을 저장
    • 동일한 쿼리 시 캐시의 출력만 표시 ⇒ 구문 분석 최적화 건너 뜀
• PostgreSQL
  • 디스크 조각이 차지하는 영역을 회수할 수 있는 장치.
  • JSON을 이용하여 데이터에 접근 가능
  • 복구 기능, 로깅, 접근 제어, 중첩된 트랜잭션, 백업 가능.

NoSQL 데이터베이스

• MongoDB
  • JSON을 통해 데이터에 접근하고 BinayJSON 형태로 데이터가 저장되어 와이어드타이거 엔진이 기본 스토리지 엔진으로 장착된 키-값 데이터 모델에서 확장된 도큐먼트 기반의 데이터베이스
  • 확장성이 뛰어나며 빅데이터를 저장할 때 성능이 좋고 고 가용성과 샤딩, 레플리카셋을 지원.
  • 스키마를 정해놓지 않고 데이터를 삽입할 수 있기 때문에 다양한 도메인의 데이터베이스를 기반으로 분석하거나 로깅등을 구현할 때 강점.
  • 도뮤먼트를 생성할 때마다 다른 컬렉션에서 중복된 값을 지니기 힘든 유니크한 값인 ObjectID 생성
    • 유닉스 기반 타임스탬프(4byte) 랜덤 값(5 바이트), 카운터(3바이트)로 이루어져있음
• Redis
  • 인메모리 데이터베이스이자 키-값 데이터 모델 기반의 데이터베이스
  • 기본 데이터 타입은 문자열. 512MB까지 저장 가능. set, hash 지원
  • pub/sub 기능을 통한 채팅 시스템, 캐싱 계층, 정렬 셋을 시용해 순위표 서비스에 사용 가능.

인덱스

인덱스의 필요성

• 데이터를 빠르게 찾을 수 있는 하나의 장치.

B-트리

• 인덱스는 보통 B-트리 기반
• 루트 노드, 리프 노드, 리프노드와 루트 노드 사이의 브랜치 노드
• 트리의 깊이가 리프 노드 수에 비해 느리게 성장.

인덱스 만드는 방법

MySQL

• 클러스터형 인덱스
  • 테이블당 하나.
  • primary key 옵션으로 만들면 기본적으로 생성되고 기본키를 만들지 않고 unique not null 옵션을 통해서도 생성 가능.
• 세컨더리 인덱스
  • create index 명령어로 세컨더리 인덱스 생성 가능.
  • 하나의 인덱스가 필요할 때는 클러스터형 인덱스만 있는 것이 좋음

MongoDB

• 도큐먼트를 생성하면 자동적으로 ObjectID 형성.
• 해당 키가 기본키로 설정.
• 복합 인덱스로 설정 가능

인덱스 최적화 기법

인덱스는 비용

• 인덱스는 두번 탐색해야 함.
  • 인덱스 리스트 + 컬렉션 수능로 탐색.
  • 관련 읽기 비용
• 컬렉션이 수정되었을 때 인덱스도 수정되어야 함.

항상 테스팅해라

• 인덱스 최적화는 서비스마다 다름.
• explain() 함수를 통해 테스팅하며 걸리는 시간 최소화.

복합 인덱스는 같음, 정렬, 다중 값, 카디널리티 순

• 어떠한 값과 같음을 비교하는 ==나 equal이 있다면 제일 먼저 인덱스로 설정
• 정렬에 쓰는 필드라면 다음 인덱스
• 다중 값을 출력해야 하는 필드면 나중 인덱스
• 유니크한 값의 정도 = 카디널리티. 카디널리티가 높은 순으로 인덱스를 생성.

조인의 종류

하나의 테이블이 아닌 두개 이상의 테이블을 묶어서 하나의 결과물을 만드는 것

내부 조인

• 왼쪽 테이블과 오른쪽 테이블의 두 행이 모두 일치하는 행이 있는 부분만을 표기

왼쪽 조인

• 왼쪽 테이블의 모든 행이 결과 테이블에 표기

오른쪽 조인

• 오른쪽 테이블의 모든 행이 결과 테이블에 표기

합집합 조인

• 두개의 테이블을 기반으로 조인 조건에 만족하지 않는 행까지 모두 표기

조인 원리

중첩 루프 조인

• Nested Loop Join은 중첩 for문과 같은 원리로 조건에 맞는 조인
• 랜덤 접근에 대한 비용이 많이 증가하므로 대용량 테이블에서는 사용하지 않음

정렬 병합 조인

• 각 테이블을 조인할 필드 기준으로 정렬하고 정렬이 끝난 이후에 조인 작업을 수행하는 조인.
• 적절한 인덱스가 없고 대용량의 테이블을 조인하고 조인 조건으로 < , >등 범위 비교 연산자가 있을 때 사용

해시 조인

• 해시 테이블을 기반으로 조인하는 방법.
• 동등 조인에서만 사용 가능.
• MySQL 방법

• 면접을 위한 CS 전공지식 노트(주홍철 저) -길벗

하나의 프로세스에 대해 멀티 프로세스나 멀티 스레드 기법을 도입할 수 있고 각 메모리를 공유하는 멀티 스레드와 같은 경우에는 동기화가 중요한 포인트입니다.

공유되는 데이터의 일관성을 보장하기 위해 lock이나 세마포어 등을 사용합니다.

lock은 하드웨어 기반 해결책으로 동시에 공유하는 자원의 접근을 막기 위해 critical section에 진입하는 프로세스가 있을 시 lock을 걸고 다른 프로세스의 접근을 막는 방법입니다.

세마포어는 세마포어 변수를 통해 lock이 걸렸는지 아닌지 확인할 수 있습니다. 

컨택스트 스위칭은 하나의 task가 끝날때까지 기다리지 않고 동시에 여러 task를 번갈아가며 실행하는 방법입니다.

인터럽트가 발생하면 현재 프로세스의 상태를 PCB에 저장하고 새로운 프로세스의 상태를 레지스터에 저장하여 잦은 컨텍스트 스위칭은 성능 저하를 야기합니다.

메모리 관리 전략은 페이징과 세그멘테이션이 존재합니다.

페이징은 프로세스를 일정 크기인 페이지로 잘라서 메모리에 적재하는 방식을 의미합니다. 하지만 이는 내부 단편화와 외부 단편화가 발생할 수 있습니다. 

세그멘테이션은 프로세스를 논리적 내용 단위인 세그먼트로 잘라 메모리에 적재하는 방법을 의미합니다. 이는 세그먼트 테이블을 통해 연속된 메모리 공간에 위치하도록 보이는 기법입니다. 하지만 이도 단점이 있는데 외부 단편화가 발생할 수 있습니다.

가상 메모리는 운영체제가 물리적 메모리와 독립된 가상 주소 공간을 프로세스에 제공하는 기술입니다. 이를 통해 프로그램은 실제 물리적 메모리 크기에 구애받지 않고 실행될 수 있습니다.

운영체제는 프로세스마다 별도의 가상 메모리를 제공하며, 이를 물리적 메모리와 매핑하여 관리합니다. 가상 주소를 물리적 주소로 변환하는 작업은 MMU(Memory Management Unit)라는 하드웨어 장치가 담당합니다.

이를 통해 각 프로세스는 실제 물리적 메모리의 제약 없이 동작하며, 물리적 메모리와 가상 메모리는 페이징(Paging) 기법을 통해 매핑됩니다.

요구 페이징은 가상 메모리에서 핵심적인 개념 중 하나입니다. 요구 페이징은 프로그램 실행 시 필요한 페이지만 메모리에 적재하는 방식으로, 처음부터 모든 페이지를 메모리에 올리지 않습니다.

캐시 지역성은 프로그램이 메모리에 접근하는 패턴에서 시간적 또는 공간적으로 반복적으로 사용되는 경향을 의미합니다. 이 특성을 사용하면 프로그램의 성능을 크게 향상시킬 수 잇습니다.

시간 지역성은 최근에 접근한 데이터는 다시 참조할 가능성이 높은 것을 의미합니다.

공간 지역성은 메모리 접근이 특정 주소 주변의 데이터에 집중되는 경향을 의미합니다.

프로세스는 메모리에 올라와 실행되는 프로그램을 의미합니다. 이는 독립적인 메모리 공간을 할당하여 운영체제로부터 자원을 할당받는 작업의 단위를 의미합니다. 각 프로세스들은 서로 통신을 하기 위해 공유 메모리, 메시지 큐 등을 이용합니다.

스레드는 프로세스의 작업단위를 의미합니다. 프로세스와 다르게 메모리를 공유하며 작동합니다.

스케줄러의 종류에는 세가지가 있습니다.

첫번째 장기 스케줄러는 수행해야 하는 작업 중 어느 것을 선택할 지 결정하는 스케줄러입니다. 프로세스 흐름 상 Ready Queue에 적재하는 스케줄러입니다.

두번째 단기 스케줄러는 CPU가 차지할 프로세스를 선별하는 작업을 합니다. CPU는 실행 흐름에서 하나의 작업만 수행할 수 있기에 어느 프로세스를 실행시킬지 단기 스케줄러가 할당합니다. 예를 들어 IO 작업을 하는 프로세스가 있을 때는 실행하는 프로세스를 교체하는 역할을 합니다.

마지막으로 중기 스케줄러는 요즘 운영체제에는 존재하지 않지만 우선순위가 낮은 프로세스를 교체하는 역할을 합니다. 이는 메모리를 효율적을 관리할 수 있게 도와줍니다.

CPU는 프로세스 작업을 수행하기에 어느 프로세스를 선택할 지 판단하는 CPU 스케줄링 알고리즘이 존재합니다.

해당 알고리즘은 선점형과 비선점형으로 나뉘며

선점형에는 Round-Robin, SRC, 다단계 큐가 있으며

비선점형에는 FCFS, SJF, 우선순위가 있습니다.

선점형 

라운드 로빈

• Round Robin은 현대 컴퓨터가 쓰는 선점형 알고리즘 스케줄링 방법으로 각 프로세스는 동일한 할당 시간을 주고 그 시간안에 끝나지 않으면 다시 준비 큐에 넣는 알고리즘
• 할당 시간이 너무 크면 FCFS가 되고 짧으면 컨텍스트 스위칭이 잦아져 비용이 증가.
• 로드 밸런서에서 트래픽 분산 알고리즘으로도 사용됨.

SRF

• 실행 시간이 더 짧은 작업이 들어와도 기존 짧은 작업을 모두 수행하고 그 다음 짧은 작업을 이어감.

다단계 큐

• 우선 순위에 따른 준비 큐를 여러개 사용하고 큐마다 라운드로빈이나 FCFS등 다른 스케줄링 알고리즘을 적용한 방법.
• 큐 간의 프로세스 이동이 안되므로 스케줄링 부담이 적지만 유연성이 떨어짐.

비선점형

FCFS

• First Come, First Served는 가장 먼저 온 것을 가장 먼저 처리하는 알고리즘
• 길게 수행되는 프로세스 때문에 준비 큐에서 오래 기다리는 현상(convoy effect)가 발생.

SJF(Shortest Job First)

• 실행 시간이 가장 짧은 프로세스를 가장 먼저 실행하는 알고리즘.
• 긴 시간을 가진 프로세스가 실행되지 않는 현상(starvation)이 일어나며 평균 대기 시간이 가장 짧음
• 실제로 실행 시간을 알 수 없음.

우선순위

• SJF 스케줄링의 경우 starvation이 발생.
• 오래된 작업일 수록 우선순위를 높이는 방법을 사용하여 보완.

동기와 비동기의 차이에는 시간과 연관이 있습니다.

동기는 요청과 그 결과가 동시에 이루어지는 것이고,요청한 자리에서 결과를 계속해서 기다립니다. 설계과 직관적이고 간단하지만 다른 프로그램이 해당 결과를 기다리기 위해 정지하고 있어야하며 시스템의 효율이 저하될 수 있습니다.

비동기는 요청과 결과가 동시에 이루어지지 않습니다. 설계가 복잡하지만 그 시간동안 다른 일을 처리할 수 있으므로 자원을 효율적으로 사용할 수 있게 됩니다.

blocking과 non-blocking은 제어권이 어디에 있느냐가 관점입니다.
작업을 시킨 주체에게 제어권이 있는지 혹은 작업을 처리하는 주체에게 제어권이 있는지에 대한 것입니다.

blocking은 직접 제어할 수 없는 대상의 작업이 끝날때까지 기다려야하는 경우를 의미하고

non-blocking은 직접 제어할 수 없는 대상의 작업이 완료되기 전에 제어권을 넘겨준 경우를 의미합니다.

멀티 프로세스 하나의 프로그램을 여러 프로세스로 구성하여 각 프로세스가 하나의 작업을 처리하는 것을 의미합니다. 

장점으로는 하나의 프로세스에 오류가 발생하여도 프로그램은 동작하지만 단점은 Context-Switch 비용이 발생하고 통신 기법을 사용해야합니다. 

멀티 쓰레드는 프로그램을 여러개의 스레드로 구성하여 각 스레드가 task를 처리하는 것을 의미합니다.

장점으로는 스레드 간 데이터를 공유하므로 Context-Switch가 멀티 프로세스에 비해 빠르며 응답시간이 단축됩니다. 단점으로는 동일한 메모리를 관리하기에 동기화 이슈가 발생합니다. 

운영체제는
1. CPU 스케줄링과 프로세스 관리
2. 메모리관리
3. 디스크 파일 관리

4. IO 디바이스 관리

가 있습니다.

1은 CPU 소유권과 어떤 프로세스에 할당할지, 프로세스의 생성과 삭제, 자원 할당 및 반환을 관리합니다.

2는 한정된 메모리를 어떤 프로세스에 얼마큼 할당해야하는지 관리합니다.

3은 디스크 파일을 어떠한 방법으로 보관할지 관리합니다.

4는 IO 디바이스들을 관리합니다. 

PCB(Process Control Block)은 운영체제에서 프로세스에 대한 메타데이터를 저장한 데이터를 의미합니다.
프로세스가 생성되면 운영체제는 프로세스마다 PCB를 할당합니다.

프로그램이 실행되면 프로세스가 생성되고 프로세스 주소 값들에 스택, 힙 등의 구조를 기반으로 메모리를 할당하고 메타데이터를 관리합니다. PCB는 프로세스의 가장 중요한 부분이기에 일반 사용자가 접근하지 못하도록 커널 스택의 앞부분에 관리됩니다.

메모리 계층에는 레지스터, 캐시, 메모리, 저장장치로 구성되어 있습니다. 먼저 말한 순서대로 기억용량이 작은 반면 접근 속도가 빠릅니다. 반대로 저장장치 쪽으로는 기억용량이 크고 접근 속도가 느립니다. 저장장치에서 보조기억장치를 제외한 모든 메모리는 휘발성입니다.

운영체제와 컴퓨터

운영체제의 역할과 구조

운영체제의 역할

1. CPU 스케줄링과 프로세스 관리
   CPU 소유권을 어떤 프로세스에 할당할지, 프로세스의 생성과 삭제, 자원 할당 및 반환을 관리
2. 메모리관리
   한정된 메모리를 어떤 프로세스에 얼만큼 할당해야하는지 관리
3. 디스크 파일
   관리 디스크 파일을 어떠한 방법으로 보관할지 관리
4. IO 디바이스 관리
   IO 디바이스들인 마우스, 키보드와 컴퓨터 간에 데이터를 주고받는 것을 관리.

운영체제의 구조

• 유저 프로그램 밑에 인터페이스(GUI, CUI)가 있고 시스템 콜 , 커널, 드라이버가 있으며 가장 하단에는 하드웨어가 있는 구조.
• GUI, 시스템 콜, 커널, 드라이버 부분이 운영체제

💡 커널
운영체제의 핵심부분. 시스템 콜 인터페이스를 제공하고, 보안, 메모리, 프로세스, 파일 시스템, IO 디바이스 요청 관리 등의 역할을 제공.

시스템 콜

• 운영체제가 커널에 접근하기 위한 인터페이스.
• 유저 프로그램이 운영체제의 서비스를 받기 위해 커널 함수를 호출할 때 쓰임
• 유저 프로그램이 IO 요청으로 트랩(trap)을 발동하면 올바른 IO 요청인지 확인 후 유저모드에서 커널모드로 변환되어 실행됨.
  • 컴퓨터 자원에 대한 직접 접근을 차단하고 다른 시스템으로부터 보호할 수 있기에 해당 사이클로 관리.

mode bit

• 시스템 콜이 작동할 때 mode bit을 참고하여 유저모드와 커널모드를 구분.

컴퓨터의 요소

CPU + DMA 컨트롤러, 메모리, 타이머, 디바이스 컨트롤러 등으로 이루어져있음.

CPU

• 산술 논리 연산 장치, 제어장치, 레지스터로 구성되어 있는 컴퓨터 장치.
• 인터럽트에 의해 단순히 메모리에 존재하는 명령어를 해석해서 실행.
• 운영체제의 커널이 프로그램을 메모리에 올려 프로세스로 만들면 CPU가 이를 처리

제어장치

• 프로세스 조작을 지시하는 CPU의 한 부품.
• 입출력 장치 간 통신을 제어하고 명령어를 읽고 해석하며 데이터 처리를 위한 순서 결정

레지스터

• CPU 안에 있는 매우 빠른 임시 기억 장치.
• CPU와 직접 연결되어 있어 연산속도가 메모리보다 매우 빠름.
• 적은양의 데이터를 저장. CPU에게 데이터 제공

산술 논리 장치

• ALU라고 불리며, 덧셈, 뺄셈과 같은 산술 연산과 배타적 논리함, 논리 곱과 같은 논리 연산 처리 회로

CPU 연산처리

1. 제어 장치가 메모리 및 레지스터에 계산할 값을 로드.
2. 제어 장치가 레지스터에 있는 값을 계산하라고 산술 논리 연산 장치에 명령.
3. 제어장치가 계산된 값을 다시 레지스터에서 메모리로 값을 저장.

💡 인터럽트
어떤 신호가 들어왔을 때 CPU를 잠깐 정지시키는 것을 의미. 키보드, 마우스 등 IO 디바이스로 인한 인터럽트, 0으로 숫자를 나누는 산술 연산에서의 인터럽트, 프로세스 오류 등으로 발생합니다.

인터럽트가 발생되면 인터럽트 핸들러 함수가 모여있는 인터럽트 벡터로 가서 인터럽트 핸들러 함수가 실행됨. 인터럽트 간에는 우선순위가 존재하고 우선순위에 따라 실행되고 하드웨어 인터럽트, 소프트웨어 인터럽트가 존재

인터럽트 핸들러 함수
인터럽트가 발생했을 때 이를 핸들링하기 위한 함수. 커널 내부의 IRQ를 통해 호출되며 인터럽트 핸들러 함수를 등록 가능.

하드웨어 인터럽트
키보드 연결 및 마우스 연결 등 IO 디바이스에서 발생하는 인터럽트

소프트웨어 인터럽트
트랩. 프로세스 오류 등으로 프로세스가 시스템 콜을 호출할 때 발동.

DMA 컨트롤러

• IO 디바이스가 메모리에 직접 접근할 수 있도록 하는 하드웨어 장치.
• CPU에만 너무 많은 인터럽트 요청이 들어오기 때문에 CPU 부하를 줄여줌.

메모리

• 전자회로에서 데이터나 상태, 명령어 등을 기록하는 장치.
• RAM(Random Access Memory)을 일컬어 메모리.
• 메모리가 크면 많은 일을 동시에 할 수 있음

타이머

• 몇 초 안에는 작업이 끝나야 한다는 것을 정하고 특정 프로그램에 시간을 제한을 다는 역할.

디바이스 컨트롤러

• 컴퓨터와 연결되어 있는 IO 디바이스들의 작은 CPU를 의미.
• 로컬 버퍼는 각 디바이스에서 데이터를 임시로 저장하기 위한 작은 메모리.

메모리

CPU는 메모리에 올라와있는 프로그램의 명령을 실행할 뿐.

메모리 계층

메모리 계층은 레지스터, 캐시, 메모리, 저장장치로 구성

                                                                                     용량 업 →
레지스터 → 캐시 → 메모리(주기억장치) → 저장장치(보조기억장치)
← 속도 업

• 레지스터 CPU 안에 있는 작은 메모리. 휘발성, 속도 가장 빠름, 용량이 제일 작음
• 캐시 L1, L2 캐시. 휘발성, 속도 빠름, 용량 작음. L3 캐시도 존재
• 주 기억장치 RAM. 휘발성, 속도 보통, 기억 용량 보통
• 보조 기억 장치 HDD, SDD. 비 휘발성, 속도 낮음, 기억 용량 많음.

램은 하드 디스크로부터 데이터를 복사하여 임시 저장하고 CPU로 전달하는 역할.

로딩중 → RAM으로 전송하는 과정이 끝나지 않음을 의미.

캐시

• 데이터를 미리 복사해 놓는 임시 저장소.
• 병목 현상을 줄이기 위한 메모리.
• 데이터 로딩 시간을 줄이고 계산하는 시간을 절약
• 캐시 직접 설정 ⇒ 지역성의 원리
  • 시간 지역성
    • 최근 사용한 데이터에 다시 접근하려는 특성.
  • 공간 지역성
    • 최근 접근한 데이터를 이루고 있는 공간이나 가까운 공간에 접근하는 특성.

캐시 히트와 캐시 미스

• 캐시히트
  • 캐시에서 원하는 값을 찾음
  • CPU 내부 버스를 기반으로 작동하기에 빠름
• 캐시 미스
  • 캐시에서 원하는 값이 없어 주 메모리로 가서 데이터를 찾아오는 것.
  • 시스템 버스를 기반으로 작동하기에 느림

캐시 매핑

웹 브라우저의 캐시

소프트웨어의 대표적 캐시는 쿠키, 로컬 스토리지, 세션 스토리지가 존재.

• 쿠키
  • 만료기한이 있는 키-값 저장소.
  • 보안을 위해 만료 기한을 걸고 httponly 옵션을 거는 것이 중요.
• 로컬 스토리지
  • 만료 기한이 없는 키-값 저장소.
  • HTML5를 지원하지 않는 웹 브라우저에서는 사용할 수 없음.
  • 클라이언트에서만 수정 가능
• 세션 스토리지
  • 만료 기한이 없는 키-값 저장소.
  • 탭 단위로 데이터 유지.
  • HTML5를 지원하지 않는 웹 브라우저에서는 사용할 수 없음.
  • 클라이언트에서만 수정 가능

데이터베이스의 캐싱 계층

• 데이터베이스 시스템을 구축할 때에도 메인 데이터베이스 위에 레디스 데이터베이스 계층을 두어 성능을 향상 시킴 ⇒ 캐싱 계층

메모리 관리

가상 메모리

• 메모리 관리 기법 중 하나.
• 컴퓨터가 실제로 이용 가능한 메모리 자원을 추상화하여 이를 사용하는 사용자들에게 큰 메모리로 보이도록 만드는 기법
• logical address: 가상주소
  • 메모리 관리 장치(MMU)에 의해 실제 주소로 변환
• physical address: 실제 주소
• 가상 주소와 실제 주소가 매핑되어 있고 프로세스의 주소 정보가 들어있는 페이지 테이블로 관리.
• 속도 향상을 위해 TLB 사용

💡 TLB
메모리와 CPU 사이에 있는 주소 변환 캐시.
페이지 테이블에 있는 리스트를 보관하며 CPU가 페이지 테이블로 가지 않도록 해 속도를 향상 시킬 수 있는 캐시 계층.

스와핑

• 가상 메모리에는 존재하지만 실제 RAM에는 현재 없는 데이터에 접근할 경우 페이지 폴트 발생.
• 메모리에서 당장 사용하지 않는 영역을 하드 디스크로 옮기고 하드 디스크의 일부분을 마치 메모리처럼 불러와 쓰는 것을 스와핑이라고 함. ⇒ 이를 통해 페이지 폴트가 안생기는 것처럼 보이게 할 수 있음.

페이지 폴트

• 프로세스의 주소 공간에는 존재하지만 RAM에 없는 데이터에 접근했을 때 발생.

1. 어떤 명령어가 유효한 가상 주소에 접근했으나 페이지가 없다면 트랩이 발생되어 운영체제에게 알람
2. 운영체제는 실제 디스크로부터 사용되지 않는 프레임을 찾음
3. 해당 프레임을 실제 메모리에 가져와서 페이지 교체 알고리즘을 기반으로 스와핑
4. 페이지 테이블을 갱신시킨 후 해당 명령어를 다시 시작.

💡페이지
가상 메모리를 사용하는 최소 크기 단위

프레임
실제 메모리를 사용하는 최소 크기 단위

스레싱

• 메모리의 페이지 폴트율이 높은 것을 의미. 심각한 성능 저하.
• 너무 많은 프로세스가 동시에 올라가게 되면 스와핑이 많이 발생하는 것이 원인.
• 페이지 폴트 → CPU 이용률이 낮아짐. ⇒ 운영체제는 프로세스를 더 올림 ⇒ 악순환
• 해결하기 위한 방법
  • 작업 세트
    • 프로세스의 과거 사용 이력인 지역성을 통해 결정된 페이지 집합을 만들어서 미리 메모리에 로드하는 것.
    • 탐색 비용 및 스와핑 비용 줄임
  • PFF(Page Falut Frequency)
    • 페이지 폴트 빈도를 조절하는 방법으로 상한선과 하한선을 만드는 방법
    • 상한선에 도달하면 프레임을 늘리고 하한선에 도달하면 프레임을 줄이는 것.

메모리 할당

• 시작 메모리 위치, 메모리 할당 크기를 기반으로 할당하는데 연속 할당과 불연속 할당으로 나뉨.

연속할당

• 연속적으로 메모리에 공간을 할당하는 것
  • 고정 분할 방식
    • 메모리를 미리 나누어 관리하는 방식
    • 내부 단편화가 발생
  • 가변 분할 방식
    • 매 시점 프로그램의 크기에 맞게 동적으로 메모리를 나눠 사용
    • 내부 단편화는 발생하지 않지만 외부 단편화가 발생
    • 최초 적합, 최적 적합, 최악 적합.

💡 내부 단편화
메모리를 나눈 크기보다 프로그램이 작아서 들어가지 못하는 공간이 발생하는 현상
(메모리에 남은 공간이 있지만 메모리 나눈 크기보다 프로그램이 작아서 여유 공간이 발생하는 현상)

외부 단편화
메모리를 나눈 크기보다 프로그램이 커서 커서 들어가지 못하는 현상.

불연속할당

• 현대 운영체제가 쓰이는 방법
• 페이징 기법: 메모리를 동일한 페이지(4KB)로 나누고 프로그램마다 페이지 테이블을 두어 메모리에 프로그램을 할당하는 방식
• 페이징
  • 동일한 크기의 페이지 단위로 나누어 메모리의 서로 다른 위치에 프로세스를 할당
  • 주소 변환이 복잡
• 세그멘테이션
  • 의미 단위인 세그먼트로 나누는 방식
  • 코드 영역, 데이터 영역, 스택, 힙 영역에서 코드 + 데이터 등을 세그먼트로 놓고 나눌 수 있음
  • 공유와 보안 측면에서 장점이지만 홀 크기가 균일하지 않음
• 페이지드 세그멘테이션
  • 의미 단위인 세그먼트로 나누어 동일한 크기의 페이지를 나누는 것.

페이지 교체 알고리즘

• 오프라인 알고리즘
  • 먼 미래에 참조되는 페이지와 현재 할당되는 페이지를 바꾸는 알고리즘
  • 미래에 참조되는 페이지 알 수 없음.
• FIFO
  • 가장 먼저 온 페이지를 교체 영역에 가장 먼저 놓는 방법
• LRU(Leat Recently Used)
  • 참조가 가장 오래된 페이지를 교체.
  • 오래 된 것을 파악하기 위해 스택을 두어야 함.
  • 해시와 이중 연결 리스트 구현.
• NRU(Not Used Recently)
  • 0과 1을 가진 비트를 두어 최근에 참조된 것은 1, 0은 참조 되지 않음을 의미.
  • 시계 방향으로 돌면서 0을 찾고 0을 찾은 순간 해당 프로세스를 교체하고 해당 부분을 1로 바꾸는 알고리즘
• LFU(Least Frequently Used)
  • 가장 참조 횟수가 적은 페이지를 교체
  • 많이 사용되지 않은 것을 교체.

프로세스와 스레드

프로세스: 컴퓨터에서 실행되고 있는 프로그램. CPU 스케줄링의 대상이 되는 작업.

스레드: 프로세스 내 작업의 흐름을 지칭.

프로그램이 메모리에 올라가면 프로그램의 인스턴스화 = 프로세스 운영체제에 의해 CPU 스케줄러를 통해 CPU가 프로세스를 실행.

프로세스와 컴파일 과정

프로세스 ⇒ 프로그램이 메모리에 올라가 인스턴스화 된 것을 의미.

컴파일 과정

1. 소스 코드 작성
2. 전처리
   1. 소스코드의 주석을 제거하고 #include등 헤더 파일을 병합하여 매크로를 치환.
3. 컴파일러
   1. 오류 처리, 코드 최적화 작업을 하며 어셈블리어로 변환.
4. 어셈블리어
   1. 어셈블리어는 목적 코드로 변환. 확장자는 운영체제마다 다르지만 리눅스에서는 .o
5. 어셈블러
6. 목적 코드
7. 라이브러리 + 목적코드 ⇒ 링커
   1. 프로그램 내에 있는 라이브러리 함수 또는 다른 파일들과 목적 코드를 결합하여 실행 파일을 만듦.
      .exe 또는 .out 확장자
8. 실행파일

정적 라이브러리와 동적 라이브러리

• 정적 라이브러리
  • 프로그램 빌드 시 라이브러리가 제공하는 모든 코드를 실행 파일에 넣는 방식
  • 시스템 환경 등 외부 의존도가 낮은 장점이 있지만 코드 중복 등 메모리 효율성이 떨어지는 단점.
• 동적 라이브러리
  • 프로그램 실행 시 필요할 때만 DDL이라는 함수 정보를 통해 참조하여 라이브러리를 쓰는 방법.
  • 메모리 효율성에서의 장점을 지니지만 외부 의존도가 높아진다는 단점.

프로세스의 상태

생성 상태

• 프로세스가 생성된 상태를 의미. fork() 또는 exec() 함수를 통해 생성. 이때 PCB가 할당.

💡fork()

부모 프로세스의 주소 공간을 그대로 복사하며 새로운 자식 프로세스를 생성하는 함수. 주소 공간만 복사할 뿐이지 부모 프로세스의 비동기 작업 등을 상속하지 않음.

exec()

새롭게 프로세스를 생성하는 함수.

대기 상태

• 메모리 공간이 충분하면 메모리를 할당받고 아니면 아닌 상태로 대기하고 있으며
  CPU 스케줄러로부터 CPU 소유권이 넘어오기를 기다리는 상태.

대기 중단 상태

• 메모리 부족으로 일시 중단된 상태.

실행 상태

• CPU 소유권과 메로리를 항당받고 인스트럭션을 수행중인 상태를 의미.
• CPU burst가 일어났다고 표현.

중단 상태

• 어떤 이벤트가 발생한 이후, 기다리며 프로세스가 차단된 상태.
• IO 디바이스에 의한 인터럽트로 이런 현상이 많이 발생하기도 함.

일시 중단 상태

• 대기 중단과 유사.
• 중단된 상태에서 프로세스가 실행되려고 했지만 메모리 부족으로 일시 중단된 상태

종료 상태

• 메모리와 CPU 소유권을 모두 놓고 가는 상태.
• 자연스러운 종료 + 부모 프로세스가 자식 프로세스를 강제 시키는 비 자발적 종료(abort), process kill 등이 존재

프로세스의 메모리 구조

동적 영역: 스택 + 힙

정적 영역: 데이터 영역 + 코드 영역

스택은 위 주소부터 할당되고 힙은 아래 주소부터 할당

스택과 힙

• 런타임 단계(동적)에서 메모리를 할당 받는 동적할당
• 스택
  • 지역 변수, 매개 변수, 실행되는 함수에 의해 늘어나거나 줄어드는 메모리 영역.
  • 함수가 호출 될 때마다 호출될 때의 환경 등 특정 정보가 스택에 계속해서 저장.
  • 재귀 함수가 호출된다고 하였을때 새로운 스택 프레임이 매번 사용되기 때문에 함수 내 변수 집합이 해당 함수의 다른 인스턴스 변수를 방해하지 않음.
• 힙
  • 동적으로 할당되는 변수를 담음.
  • malloc(), free() 함수를 통해 관리할 수 있으며 동적으로 관리되는 자료구조의 경우 힙 영역에 저장.

데이터 영역과 코드 영역

• 컴파일 단계에서 메모리를 할당하는 정적 영역.
• 데이터 영역
  • BSS segment
    • 전역 변수 또는 static, const로 선언되어있고 0으로 초기화 또는 초기화되어 있지 않은 변수들 저장
  • Data segment
    • 전역 변수 또는 static, const로 선언되어 있고 0이 아닌 값으로 초기화 된 변수가 저장.
• code/text segment
  • 프로그램의 코드

PCB

• Process Control Block: 운영체제에서 프로세스에 대한 메타 데이터를 저장한 데이터. 프로세스 제어 블록
• 프로세스가 생성되면 운영체제는 해당 PCB 생성.
• 프로그램이 실행되면 프로세스가 생성되고 프로세스 주소 값들에 스택, 힙 등 구조를 기반으로 메모리 할당.
• 커널 스택의 가장 앞부분에서 관리.

💡 메타 데이터
데이터에 관한 구조화된 데이터이자 데이터를 설명하는 작은 데이터, 대량의 정보 가운데에서 찾고 있는 정보를 효율적으로 찾아내서 이용하기 위해 일정한 규칙에 따라 콘텐츠에 대해 부여되는 데이터

PCB 구조

• 프로세스 스케줄링 상태
  • 준비, 일시 중단 등 프로세스가 CPU에 대한 소유권을 얻은 이후의 상태
• 프로세스 ID
  • 프로세스 ID, 해당 프로세스의 자식 프로세스 ID
• 프로세스 권한
  • 컴퓨터 자원 또는 IO 디바이스에 대한 권한 정보
• 프로그램 카운터
  • 프로세스에서 실행해야 할 다음 명령어의 주소에 대한 포인터
• CPU 레지스터
  • 프로세스를 실행하기 위해 저장해야할 레지스터 정보
• CPU 스케줄링 정보
  • CPU 스케줄러에 의해 중단된 시간 등에 대한 정보
• 계정 정보
  • 프로세스 실행에 사용된 CPU 사용량, 실행한 유저의 정보
• IO 상태 정보
  • 프로세스에 할당된 IO 디바이스 목록

컨텍스트 스위칭

• PCB를 기반으로 프로세스의 상태를 저장하고 로드시키는 과정.
• 하나의 프로세스에 할당된 시간이 끝나거나 인터럽트에 의해 발생하여 컨텍스트 스위칭이 아주 빠르게 진행.
• 스레드에서의 컨텍스트 스위칭
  • 스레드는 스택 영역을 제외한 모든 메모리를 공유하기에 스레드 컨텍스트 스위칭의 경우 비용이 더 작고 시간이 더 적게 걸림.

멀티 프로세싱

여러개의 프로세스, 멀티 프로세스를 통해 동시에 두가지 이상의 일을 수행할 수 있는 것.

• 신뢰성이 높은 강점.

IPC

• 멀티 프로세스는 IPC(Inter ProcessCommunication)가 가능하며 IPC는 프로세스끼리 데이터를 주고받고 공유 데이터를 관리하는 메커니즘을 뜻함.
• 클라이언트와 서버에서 믈라이언트는 데이터를 요청하고 서버는 클라이언트의 응답하는 것이 IPC의 예.
• 공유 메모리, 파일, 소켓, 익명 파이프, 명명 파이프, 메시지 큐 등이 있음. 스레드 보다 속도가 떨어짐.
• 공유 메모리
  • 여러 프로세스에 동일한 메모리 블록에 대한 접근 권한이 부여되어 프로세스가 서로 통신할 수 있도록 공유 메모리를 생성해서 통신하는 방식
  • 각 프로세스의 메모리를 다른 프로세스가 접근할 수 없지만 공유 메모리를 통해 여러 프로세스가 하나의 메모리를 공유할 수 있음.
  • 메모리를 공유하는 것이 아니기 때문에 데이터 복사의 오버헤드가 발생하지 않아 가장 빠르지만 각 프로세스에 대해 동기화가 필요함. ⇒ RAM을 이용
• 파일
  • 디스크에 저장된 데이터나 파일 서버에서 제공하는 데이터.
• 소켓
  • 네트워크 인터페이스를 통해 전송하는 데이터.
  • TCP와 UDP가 존재
• 익명 파이프
  • 프로세스 간에 FIFO 방식으로 읽히는 임시 공간인 파이프를 기반으로 데이터를 주고 받으며, 단방향 방식의 읽기 전용, 쓰기 전용 파이를 만들어서 작동하는 방식.
  • 부모, 자식 프로세스 간에만 사용할 수 있음.
• 명명 파이프
  • 파이프 서버와 하나 이상의 파이프 클라이언트 간의 통신을 위해 단방향, 양방향 파이프
  • 여러 경우에서 사용 가능.
• 메시지 큐
  • 메시지를 큐에 관리하여 커널의 전역 변수 형태 등 커널에서 전역적으로 관리되며 다른 IPC 방식에 비해 사용 방법이 매우 직관적이고 간단하고 코드의 수정 없이 몇 줄의 코드를 추가시켜 간단하게 메시지 큐에 접근할 수 있다는 장점.

스레드와 멀티 스레딩

스레드: 프로세스의 실행 가능한 가장 작은 단위. 프로세스는 여러개의 스레드를 가질 수 있음.

코드, 데이터, 스택, 힙을 생성하는 프로세스와 달리 스레드는 코드, 데이터, 힙은 스레드끼리 서로 공유.

멀티 스레딩

• 프로세스 내 작업을 여러개의 스레드, 멀티 스레드로 처리하는 기법.
• 스레드끼리 서로 자원을 공유하기 때문에 효율성이 높음. ⇒ 빠른 처리 가능
• 동시성에도 큰 장점.
• 스레드끼리 영향을 줄 수 있어 프로세스에 영향을 줄 수 있음

공유자원과 임계 영역

공유자원

• 시스템 안에서 각 프로세스, 스레드가 함꼐 접근할 수 있는 모니터, 프린터, 메모리, 파일, 데이터 등의 자원이나 변수 등을 의미.
• 공유 자원을 두개 이상의 프로세스가 동시에 읽거나 쓰는 상황을 경쟁 상태.
• 동시에 접근을 시도할 때 접근의 타이밍이나 순서 등이 결괏값에 영향을 줄 수 있는 상태.

임계 영역

• 둘 이상의 프로세스, 스레드가 공유 자원에 접근할 때 순서 등의 이유로 결과가 달라지는 코드 영역.
• 뮤텍스 세마포어, 모니터 등을 통해 해결 가능.
• 해당 방법은 상호 배제, 한정 대기, 융통성이라는 조건을 만족 ⇒ lock을 통해 구현

💡

상호 배제(mutual exclusion)

한 프로세스가 임계 영역에 들어갔을 때 다른 프로세스는 들어갈 수 없다.

한정대기(bounded waiting)

특정 프로세스가 영원히 임계 영역에 들어가지 못하면 안된다.

융통성(progress)

만약 어떠한 프로세스도 임계 영역을 사용하지 않는다면 어떠한 프로세스가 들어갈 때 프로세스끼리 방해하지 않는다.

뮤텍스

• 프로세스나 스레드가 공유 자원을 lock()을 통해 잠금 설정하고 사용한 후에는 unlock()을 통해 잠금 해제하는 객체.
• 다른 프로세스나 스레드는 잠긴 코드 영역에 접근할 수 없고 해제는 그와 반대.
• 뮤텍스는 잠금 또는 잠금 해제라는 상태만을 가르킴.

세마포어

• 일반화된 뮤텍스
• 간단한 정수 값과 두가지 함수 wait, signal을 통해 공유 자원에 대한 접근을 처리
• wait: 자신의 차례가 올때까지 기다리는 함수 signal: 다음 프로세스로 순서를 넘겨주는 함수
• 바이너리 세마포어
  • 0과 1의 두가지 값만을 가질 수 있는 세마포어.
  • 뮤텍스와 동일하지만 뮤텍스는 잠금 메커니즘이고 세마포어는 신호 메커니즘
• 카운팅 세마포어
  • 여러개의 값을 가질 수 있는 세마포어
  • 여러 자원에 대한 접근을 제어하는데 사용

모니터

• 둘 이상의 스레드나 프로세스가 공유 자원에 안전하게 접근할 수 있도록 공유 자원을 숨기고 해당 접근에 대해 인터페이스만 제공.
• 모니터 큐를 통해 공유 자원에 대한 작업들을 순차적으로 처리.

교착 상태

deadlock: 두개 이상의 프로세스들이 서로가 가진 자원을 기다리며 중단된 상태

원인

• 상호배제: 한 프로세스가 자원을 독점하고 있으며 다른 프로세스들은 접근이 불가능.
• 점유 대기: 특정 프로세스가 점유한 자원을 다른 프로세스가 요청하는 상태
• 비선점: 다른 프로세스의 자원을 강제적으로 가져올 수 없음
• 환형 대기: 프로세스 A는 프로세스 B의 자원을 요구하고, 프로세스 B는 프로세스 A의 자원을 요구하는 등 서로가 서로의 자원을 요구하는 상황

해결 방법

1. 자원을 할당할 때 애초에 조건이 성립되지 않도록 설계
2. 은행원 알고리즘 사용
3. 사이클이 존재하는지 파악하고 지움.

CPU 스케줄링 알고리즘

CPU 이용률은 높게, 많은 처리량, 응 답 시간을 짧게

비선점형 방식

프로세스가 스스로 CPU 소유권을 포기하는 방식. 강제로 프로세스를 중지시키지 않음. 컨텍스트 스위칭의 부하가 적음

FCFS

• First Come, First Served는 가장 먼저 온 것을 가장 먼저 처리하는 알고리즘
• 길게 수행되는 프로세스 때문에 준비 큐에서 오래 기다리는 현상(convoy effect)가 발생.

SJF(Shortest Job First)

• 실행 시간이 가장 짧은 프로세스를 가장 먼저 실행하는 알고리즘.
• 긴 시간을 가진 프로세스가 실행되지 않는 현상(starvation)이 일어나며 평균 대기 시간이 가장 짧음
• 실제로 실행 시간을 알 수 없음.

우선순위

• SJF 스케줄링의 경우 starvation이 발생.
• 오래된 작업일 수록 우선순위를 높이는 방법을 사용하여 보완.

선점형 방식

현대 운영체제가 쓰는 방식으로 프로세스를 알고리즘에 의해 중단시켜 버리고 강제로 다른 프로세스에 CPU 소유권을 할당하는 방식.

라운드 로빈

• Round Robin은 현대 컴퓨터가 쓰는 선점형 알고리즘 스케줄링 방법으로 각 프로세스는 동일한 할당 시간을 주고 그 시간안에 끝나지 않으면 다시 준비 큐에 넣는 알고리즘
• 할당 시간이 너무 크면 FCFS가 되고 짧으면 컨텍스트 스위칭이 잦아져 비용이 증가.
• 로드 밸런서에서 트래픽 분산 알고리즘으로도 사용됨.

SRF

• 실행 시간이 더 짧은 작업이 들어와도 기존 짧은 작업을 모두 수행하고 그 다음 짧은 작업을 이어감.

다단계 큐

• 우선 순위에 따른 준비 큐를 여러개 사용하고 큐마다 라운드로빈이나 FCFS등 다른 스케줄링 알고리즘을 적용한 방법.
• 큐 간의 프로세스 이동이 안되므로 스케줄링 부담이 적지만 유연성이 떨어짐.

• 면접을 위한 CS 전공지식 노트(주홍철 저) -길벗