영웅's Computer Science Knowledge Storage

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

데이터의 영속성

• 레디스는 스냅샷 기능을 제공하여 메모리의 내용을 .rdb 파일로 저장. 해당 시점으로 복구 가능.

기본-복제 아키텍처를 제공(복구 기능 및 확장)

• 기본-복제 아키텍처를 사용하여 비동기식 복제를 지원하여 데이터가 여러 복제 서버에 복제 될 수 있음.
• 따라서 main 서버가 장애가 발생하는 경우 요청이 여러 서버로 분산될 수 있음으로 향상된 읽기 성능과 더 빠른 복구 기능 사용.
• scalue-up, scale-in, scale-out을 제공하여 클러스터를 확장하여 일관된 성능과 안정성을 제공.

Single Thread

레디스는 싱글 스레드 아키텍처를 사용. ⇒ 한번의 1개의 명령어만 실행

• Memcached는 멀티 스레드 지원.
• 하나의 요청이 병목이 되면 그 다음 요청이 계속 blocking 상태이므로 O(n)의 시간복잡도를 보여줌.
  • O(n)의 시간복잡도를 갖는 명령어: Keys, flushall, FLUSHDB, Delte COLLECTIONS, Get All COLLECTIONS
• Event Loop를 이용하여 요청을 수행
  • 실제 명령에 대한 작업은 커널 IO 레벨에서 멀티플렉싱을 통해 처리하여 동시성을 보장.
  • 커널 IO에서는 스레드 풀을 이용

Redis에서의 CRUD

READ

• 레디스 서버에서 사용자가 요청한 데이터가 있는지 확인.
• 데이터가 존재하는 경우.
  • 만료 여부를 확인.
  • 정보 반환
• 데이터가 만료되었거나 존재하지 않는 경우
  • 데이터가 만료되었을 경우, 데이터 삭제.
  • 메인서버에 요청.
  • 메인 서버로부터 받은 데이터를 캐싱 및 DB에 저장한 후 데이터를 반환 후 종료

CUD

• 데이터에 변화가 생겼으므로 해당하는 값은 캐싱된 데이터가 아닌 실시간 정보를 보내주어야 함.
• 방문자의 CUD를 메인 서버에 요청.
• 메인 서버는 요청받은 CUD를 처리하고 업데이트
• 변경되기 이전의 데이터 값은 레디스 서버에서 찾아서 삭제 후 종료.

Redis 캐싱전략

웹 서비스 환경에서 시스템 성능 향상을 기대하는 기술 일반적으로 캐시는 메모리(RAM)을 사용하기에 DB보다
훨씬 빠르게 데이터를 응답할 수 있어서 이용자에게 빠르게 서비스를 제공 가능

하지만 기본적으로 RAM 용량은 16~32G 정도라, 데이터를 모두 캐시에 저장해버리면 용량 부족 현상이 일어나 시스템이 다운 될 수 있기에 어느 종류의 데이터를 캐시에 저장할지, 얼만큼의 데이터를 캐시에 저장할지, 얼마동안 오래된 데이터를 캐시에서 제거하는지에 대한 전략이 필요.

캐시 읽기 전략

Look Aside (Lazy Loding)

캐시를 옆에 두고 필요할 때만 데이터를 캐시에 로드하는 전략

• Cache Aside 패턴이라고 부르기도 함.
• 데이터를 찾을 때 우선적으로 캐시를 확인하는 법
  • 없으면 DB에서 조회.
• 반복적인 읽기가 많은 시스템에서 적합
• 캐시와 DB가 분리되어 가용되기 때문에
  • 원하는 데이터만 별도로 구성하여 캐시에 저장
  • 캐시 장애 대비 구성이 되어 있음.
    • 캐시(Redis)가 다운되더라도 DB에서 데이터를 가져올 수 있어, 서비스에 큰 장애는 없음.
• Cache Store와 Data Store(DB) 간 데이터 정합성 문제가 발생할 수 있음
  • DB에서 캐시로 데이터를 미리 넣어주는 작업을 진행하기도 함. => Cache Warming

💡 Cache Warming
미리 Cache로부터 DB의 데이터를 밀어 넣어두는 작업을 의미.
이 작업을 수행하지 않으면 서비스 초기에 트래픽 급증 시 대량의 cache miss가 발생하여 데이터베이스 부하가 급증할 수 있음.(Thundering Herd)
다만, 캐시 자체는 용량이 작아 무한정으로 데이터를 들고 있을 수는 없어 일정 시간이 지나면 expire 되는데, 그러면 다시 Thundering Herd가 발생될 수 있기 때문에 캐시의 TTL을 잘 조정할 필요가 있음.

• flow
  • cache hit
    • 어플리케이션에서 레디스로 데이터를 읽어옴
  • cache miss
    • 데이터베이스에 데이터 요청
    • 데이터를 데이터베이스에 저장.
• 장점
  • 데이터 접근 시간을 줄임.
  • 처리량을 늘림

Read Through 패턴

캐시에서만 데이터를 읽어오는 전략(inline cache)

• Look Aside와 비슷하지만 데이터 동기화를 라이브러리 또는 캐시 제공자에게 위임하는 방식
• 데이터를 조회하는데에 있어 속도가 느림
• 데이터 조회를 캐시에만 의존하므로, Redis가 다운될 경우 서비스 이용에 차질.
• 캐시와 DB 간의 데이터 동기화가 이루어져 데이터 정합성은 항상 일치
• 읽기가 많은 서비스에 적합
• flow
  • cache Store에 검색하는 데이터가 있는지
  • cache hit
    • 데이터 반환
  • cache miss
    • 캐시에서 DB에 데이터를 조회
    • 캐시를 업데이트
    • 데이터 반환
• 장점
  • 직접적인 데이터베이스의 접근을 최소화
  • 데이터 정합성 일치
  • read에 소모되는 자원 최소화
• 캐시가 문제가 발생했을 때 서비스에 차질이 있을 수 있으므로 Replication 또는 Cluster로 구성해서 가용성을 높여야 한다.

캐시 쓰기 전략

Write Back 패턴

Write Behind 패턴으로 부르기도 함
캐시와 DB 동기화를 비동기적으로.

• 캐시와 DB 동기화를 비동기적으로 관리하기에 동기화 과정이 생략
• 데이터를 저장할 때 DB에 바로 쿼리하지 않고, 캐시에 모아서 일정 주기 배치 작업을 통해 DB에 반영
• 캐시에 모아놨다가 DB에 쓰기 때문에 쓰기 쿼리 회수 비용과 부하를 줄일 수 있음.
• Write가 빈번하면서 Read 하는데 많은 양의 Resource가 소모되는 서비스에 적합.
• 데이터 정합성 확보
• 자주 사용되지 않는 불필요한 리소스 저장.
• 캐시에서 오류가 발생하면 데이터를 영구 손실.
• flow
  • 모든 데이터를 Cache Store에 저장
  • 일정 시간이 지난 뒤 DB에 저장
• 캐시가 일종의 Queue의 역할을 겸하게 됨.
• 장점
  • DB 쓰기 횟수 비용과 부하를 줄일 수 있음
    • 캐시에 데이터를 모았다가 한번에 DB에 저장하기 때문에
  • 데이터베이스에 장애가 발생하더라도 지속적인 서비스를 제공할 수 있도록 보장 가능
• Replication이나 Cluster 구조를 적용함으로써 cache 서비스의 가용성을 높이는 것이 좋고
• Read-Through와 결합하면 가장 최근에 업데이트된 데이터를 항상 캐시에서 사용할 수 있는 혼합 워크로드에 적합.

Write Through 패턴

데이터베이스와 Cache에 동시에 데이터를 저장하는 전략.
Cache Store에도 반영하고 Data Store에 동시에 반영하는 방식

• 데이터를 저장할 때 먼저 캐시에 저장한 다음 바로 DB에 저장.(모아놓았다가 나중에 저장이 아닌 바로 저장)
• Read Through와 마찬가지로 DB 동기화 작업을 캐시에게 위임.
• DB와 캐시가 항상 동기화가 되어 있어, 캐시의 데이터는 항상 최신으로 유지
  • 데이터의 일관성을 유지할 수 있어서 안정적
• 데이터의 유실이 발생하면 안되는 상황에 적합
• 자주 사용되지 않는 불필요한 리소스 저장
• 매 요청마다 두번의 Write가 발생하게 됨으로써 빈번한 생성 및 수정이 발생하는 서비스에서는 성능 이슈 발생
• 기억장치 속도가 느릴경우, 데이터를 기록할 때 CPU가 대기하는 시간이 필요하기 때문에 성능 감소.

Write Around 패턴

모든 데이터는 DB에 저장.

• Write Through보다 훨씬 빠름
• 모든 데이터는 DB에 저장(캐시를 갱신하지 않음)
• Cache miss가 발생하는 경우에만 DB와 캐시에도 데이터를 저장.
• 따라서 캐시와 DB내의 데이터가 다를 수 있음(데이터 불일치)

캐시 읽기 + 쓰기 전략 조합

• Look Aside + Write Around 조합
  • 가장 일반적인 조합
• Read Through + Write Aound 조합
  • 항상 DB에 쓰고, 캐시에서 읽을때 항상 DB에서 먼저 읽어오므로 데이터 정합성 이슈에 대한 완벽한 안전 장치를 구성할 수 있음.
• Read Through + Write Through 조합
  • 데이터를 쓸 때 항상 캐시에 먼저 쓰므로 읽어올 때 최신 캐시 데이터 보장
  • 데이터를 쓸 때 항상 캐시에서 DB로 보내므로, 데이터 정합성 보장.

캐시 저장 방침

캐시 솔루션은 자주 사용되면서 자주 변경되지 않는 데이터의 경우 캐시 서버에 적용하여 반영할 경우 높은 성능향상을 이뤄낼 수 있음.
이를 Cache Hit Rating이라고 한다.

• 캐시는 메모리에 저장되는 형태를 선호
• 수십기가정도의 저장소를 보유하게 되며, 자주 사용되는 데이터를 어떻게 뽑아 캐시에 저장하고 자주 사용하지 않느 데이터를 어떻게 제거해 나갈 것이냐를 지속적으로 고민해야할 필요성이 있다.
• 캐시를 저장하는 기준은 자주 사용되며 자주 변경되지 않는 데이터
• 캐시는 언제든지 데이터가 날라갈 수 있는 휘발성
• 데이터의 유실 또는 정합성의 문제도 항상 고려

캐시 제거 방침

• 캐시 데이터의 경우 캐시 서버에만 단독으로 저장되는 경우도 있지만, 대부분 영구 저장소에 저장된 데이터의 복사본으로 동작하는 경우가 많음.
• 2차 저장소(영구 저장소)에 저장되어 있는 데이터와 캐시 솔루션의 데이터를 동기화하는 작업이 반드시 필요.
  • 개발 과정에 고려사항이 늘어난다는 점을 기억.
• 캐시 서버와 데이터베이스에 저장되는 데이터의 commit 시점에 대한 고려.
• 캐시 만료 정책이 제대로 구현되어 있지 않는 경우, 클라이언트의 데이터가 변경되었음에도 오래된 정보가 캐싱되어있어 오래된 정보를 사용할 수 있다는 문제점이 발생.
  • 캐시된 데이터가 기간 만료되면 캐시에서 데이터가 제거되고, 응용 프로그램은 원래 데이터 저장소에서 데이터를 검색해야함.
  • 캐시 만료 주기가 너무 짧으면 데이터는 너무 빨리 제거되고, 캐시를 사용하는 이점이 줄어듦.
  • 반대로 너무 길면 데이터가 변경될 가능성과 메모리 부족 현상이 발생하거나, 자주 사용되어야 하는 데이터가 제거되는 등의 역효과

캐시 공유 방식 지침

• 각 애플리케이션 인스턴스가 캐시에서 데이터를 읽고 수정 가능.
• 애플리케이션이 캐시에 보유하는 데이터를 수정해야 하는 경우, 애플리케이션의 한 인스턴스가 만드는 업데이트가 다른 인스턴스가 만든 변경을 덮지 않도록 해야함.
  • 데이터의 정합성 문제
• 먼저 캐시 데이터를 변경하기 전에 데이터가 검색된 이후 변경되지 않았는지 확인.
  • 변경되지 않았다면 즉시 업데이트.
  • 변경되었다면 업데이트 여부를 애플리케이션 레벨에서 결정하도록 수정
• 캐시 데이터를 업데이트하기 전에 Lock을 잡는 방식
  • 조회성 업무를 처리하는 서비스에 Lock으로 인한 대기 현상이 발생
  • 데이터의 사이즈가 작아 빠르게 업데이트가 가능한 업무와 빈번한 업데이트가 발생하는 상황에 적용하기 용이.

참조

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

String 유형

문자열을 Value로 사용하는 것은 가장 단순한 형태.
문자열을 Value로 사용하고, html 문자열을 캐시하는 식의 활용 방식이 있음.

특징

• Value에 string, number들을 저장. => 저장시 별도의 타입이 존재하지 않음.

SET

• 값을 세팅할 때는 SET을 사용

# 값이 이미 있으면 실패 : nx
# 값이 이미 있을 때만 성공 : xx
SET [keyName] [value]

GET

• 값을 찾아올 때는 GET을 사용.

GET [keyName]

INCR, DECR

• 값이 정수인 경우, INCR과 DECR(increment, decrement) 명령어 활용 가능.

INCR [keyName]
DECR [keyName]

EXISTS

• value의 존재 여부를 확인
• 있으면 1, 없으면 0을 반환

EXIST [key1] [key2] ...

DEL

• 해당 key를 삭제
• 삭제에 성공했으면 1, 실패하면 0 반환

DEL [key1] [key2] ...

EXPIRE

• TTL 설정
• 단위는 초

EXPIRE [keyName] 5

Lists

특징

• Value에 list를 저장.

lpush / rpush

• 왼쪽에 값을 넣어주거나 오른쪽에 값을 넣어줌.

lrange

• 값을 조회. 이때 -1은 모두 가져오라는 뜻

rpop

• 이를 이용해 queue 구현 가능

rbpop

• 순차적인 분산 작업 구현 가능
• rpop과 비슷하나 데이터가 없다면 데이터가 들어올 때까지 block 상태로 대기

Sets

특징

• Value에 set을 저장.
• list는 중복을 허용하나 set은 중복이 안됨.

SADD

• 집합(Set)에 하나 이상의 멤버를 추가
  • SADD test_sets 1은 test_sets라는 이름의 집합에 멤버로 1을 추가

SMEMBERS

• 집합(Set)에 모든 멤버를 반환
  • SMEMBERS test_sets은 test_sets라는 이름의 집합에 모든 멤버 반환

Sorted sets

특징

• Value에 set을 저장.
• 중복 불가능 하며, scores 필드를 기준으로 정렬됨
• 중복이 안되면 동일한 value를 넣으면 기존 데이터의 score를 덮어서 데이터 순서가 바뀜.

zadd

• Sorted Set에 멤버와 점수를 추가하는 데 사용
  • test_ssets라는 이름의 Sorted Set에 멤버 1과 점수 1을 추가. => 성공(1)
  • zadd test_ssets "a" 2은 에러발생
    • Sorted Set은 멤버의 순서를 기준으로 정렬하는데, 문자열은 정렬되지 않는 데이터 타입이기 때문.
  • 마지막으로 zadd test_ssets "0" 2와 같이 문자열 "0"을 멤버로 추가한 경우
    • 이 경우는 정상적으로 처리되며, 정수로 간주하여 추가.
    • 새로운 멤버가 추가되었으므로 (integer) 0이 반환.

zrange

• zrange 명령어는 Sorted Set의 멤버들을 조회하는 명령어.
• zrange test_ssets 0 -1 명령어는 test_ssets Sorted Set의 첫 번째 멤버부터 마지막 멤버까지 모두 조회. 

Hashes

특징

• Hashes key/value 목록을 가짐.

hset

• 명령어는 해시에 필드와 값을 설정
• HSET htest username hi는 htest라는 이름의 해시에 username 필드에 hi 값을 설정합니다. 반환된 정수 값 1은 새 필드가 생성되었음을 나타냄
• 같은 방식으로 HSET htest userpwd asdf는 htest 해시에 userpwd 필드에 asdf 값을 설정

hget

• 해시에서 특정 필드의 값을 가져옴.
• HGET htest username은 htest 해시에서 username 필드의 값을 가져옵니다. 여기서는 "hi"가 반환됩니다.
• HGET htest temp는 존재하지 않는 필드인 temp의 값을 가져오려고 시도합니다. 이 경우, 해당 필드가 존재하지 않기 때문에 nil이 반환됩니다.

hgetall

• 해시의 모든 필드와 값을 반환
• HGETALL htest는 htest 해시의 모든 필드와 값을 가져옵니다. 여기서는 "username", "hi", "userpwd", "asdf"가 번갈아가면서 반환

Bitmaps

특징

• Value에 bit값 저장
• 512MB 용량으로 2^32(42억)개의 bit 값들을 저장
• boolean 옵션으로 많이 사용.(회원마다 공지 조회 여부)

setbit

• setbit 명령어는 주어진 오프셋(offset)에 비트 값을 설정하는데 사용.
• 여기서 "test_bits"라는 이름의 비트열(Bitfield)에 대해 첫 번째 비트(오프셋 0)를 1로 설정.
• 새로운 비트가 설정되었으므로 (integer) 0을 반환.

getbit

• getbit 명령어는 주어진 오프셋에 해당하는 비트 값을 가져오는데 사용.
• "test_bits" 비트열의 첫 번째 비트(오프셋 0)의 값.
• 비트 값이 1로 설정되어 있으므로 (integer) 1이 반환.

참조

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

Redis

Key-Value Store의 하나의 DB
Remote Dictionary Server의 약자로, 원격 Dictionary 자료구조 서버라는 뜻

• Key로 올 수 있는 자료형은 기본적으로 String이지만, Value는 다양한 타입을 지원함.
• 메모리 기반 데이터베이스이기 때문에, Disk를 기반으로 하는 RDBMS보다 read가 빠름.

💡 잠깐! RDBMS도 쿼리를 통해 조회해오면, 메모리에 존재하는 Buffered Cache를 이용한다고 알고 있어요. (= Cache Hit)        Buffered Cache를 활용할 때의 RDBMS와 레디스는 조회 시간 차이가 없나요?

경험상 RDBMS에서 동일 select문 n회 조회할 때(cache hit)와 Redis의 조회 속도를 비교해보면 Redis가 더 빠른데요, 과거 AWS에서 monggo DB 담당하시는 이덕현 개발자님이 세미나에서 “RDBMS는 데이터의 직렬화, 역직렬화 과정이 있기 때문에 레디스보다 더 느린 것 같다"고 추론했다는 언급을 하신 적 있습니다.

자바 해시 맵과의 비교

공통점

• 레디스, 해시 맵 모두 Key-Value 형태
• 메모리 베이스 -> 디스크보다 빠른 접근 가능.
• 원하는 Value를 원하는 자료구조로 사용 가능

차이점

분산 환경에서의 장점

• 유저의 수가 늘어나 서버가 증설될 때 해시맵 데이터를 참조해야할 때

• 자바 해시맵은 프로세스마다 메모리가 달라, 원격 프로세스간 동일한 해시 맵 데이터를 참조해야할 때 동기화가 어려움.

• 별도의 레디스 서버를 구성하고, 해당 레디스에서 값을 꺼내 쓴다면 메모리 기반 데이터 구조의 빠른 응답성과 데이터 정합성을 가져올 수 있음.

DBMS로서의 장점

• Redis는 영속성을 제공하기에 다양한 옵션도 제공 가능
• TTL 설정: 일정 시간이 지나면 데이터 삭제, 용량이 작은 메모리를 효율적으로 관리.
• 분산 데이터 저장소 구성: Redis Cluster 등 분산환경에서 안정적인 데이터 관리
• 보안 체계: 악성 스크립트 공격으로부터 안전 보장. TLS 지원.

레디스 특징

• 쿼리를 사용할 필요 없이 명령어로 가능.
• 데이터를 디스크에 쓰는 구조가 아니라 메모리에서 데이터를 처리하기 때문에 속도가 빠름.(인메모리 기반)
• 여러 자료 구조를 지원(String, Lists, Sets, Sorted Sets, Hashes ...)

RESP 프로토콜

RESP(REdis Serialization Protocol)은 Redis 클라이언트가 Redis 서버와 TCP 커넥션을 맺어 통신할 때 사용하는 프로토콜.

Request-Response 모델

Redis는 기본적으로 다음의 2가지 경우를 제외하고 Request-Response 모델을 사용.

• Pipelining
  • 여러개의 명령어(Command)를 한번에 보내고 모든 답장이 올 때까지 기다림.
• Pub/Sub
  • 어떤 Client가 특정 channel을 subscribe하면 push protocol로 전환되어 더이상 명령어를 보내지 않음.

Redis의 Request-Response 프로토콜은 다음과 같이 동작.

• 클라이언트가 Bulk String의 Array 타입으로 명령어를 서버로 전송.
• 서버는 클라이언트가 보낸 명령어에 맞는 타입으로 응답을 보냄.

RESP의 Data Types

RESP는 5가지의 데이터 타입이 존재.

데이터의 타입은 데이터의 첫번째 바이트를 통해 구분.

RESP를 통해 오고가는 Req와 Resp는 항상 "\r\n"으로 끝남.

• Simple Strings: "+"
  • Simple Strings 타입은 binary-safe하지 않은 일반 문자열을 전송할 때 사용하는 데이터 타입
  • binary-safe한 문자열을 전송하려면 Bulk String타입으로 전송
  • 문자열은 Newline을 포함할 수 없음.
  • ex) "+OK\r\n"

• Errors: "-"
  • 에러 정보에 대한 타입
  • 관습적으로 에러의 이름을 먼저 쓰고 발생 원인을 뒤에 적음.
  • ex) "-ERR unknown command 'foobar'\r\n",  "-ERR unknown command 'foobar'\r\n"
• Integers: ":"
  • 숫자의 크기는 signed 64bit 범위 내
  • INCR, LLEN, LASTSAVE와 같은 명령어에 대한 응답
  • 일부 명령어는 true/false의 의미로 1/0을 씀.
• Bulk Strings: "$"
  • binary-safe한 문자열을 타나낼 때 사용하는 타입
  • "$"에 이어 문자열의 길이가 주어지고 "\r\n" 이후 실제 문자열
  • 빈 문자열을 나타낼 땐 "$0\r\n\r\n" 를 사용
  • null 값을 나타낼 때는 Null Bulk String이라고하며, "$-1\r\n" 를 사용
• Arrays: "*"
  • 10진수로 배열의 크기와 "\r\n" 이 나옴.
  • 배열 내 원소는 각각 특정한 타입을 가질 수가 있으며, 그 타입은 모두 달라도 됨.
  • "*3\r\n:1\r\n+2\r\n$4\r\nbulk\r\n"
  • Null Array: "*-1\r\n"
  • 중첩된 Array도 가능

Redis 설치하기

Redis 공식 홈페이지, getting-started에서 설명.

Mac에서 설치하기

# brew가 없다면 https://brew.sh/

brew --version
brew install redis

# 설치를 완료했다면 Redis Server 실행
redis-server

# Redis Server에 접근하는 client 실행
redis-cli

• 옵션을 주지 않고 부팅했을 때 Redis의 default 포트는 6379
• cli를 실행하지 않고도, telnet으로 접속 가능 -> telnet 0 6379

Key를 잡을 때 주의점

• Key의 최대 길이는 512MB.(value도 마찬가지)
• 매우 긴 키는 좋지 않음.
  • 1MB길이의 키는 메모리 관리 측면 뿐만 아니라 키를 조회할 때 고비용의 키 비교 로직을 실행해야 할 수 있기에 좋지 않음.
  • 키가 너무 길다면 SHA-1를 통해 해싱
  • 레디스를 사용하는 이유는 빠른 응답속도…!
• 매우 짧은 키 역시 좋지 않음
  • 가독성을 해치는 키는 별로 좋지 않음.
• 고정된 스키마를 활용
  • .이나 -주로 사용
  • comment:4321:reply.to, comment:4321:reply-to

참조

Redis, 자바 해시맵 비교: https://sihyung92.oopy.io/database/redis/1
RESP 프로토콜: https://redis.io/docs/latest/develop/reference/protocol-spec/#resp-simple-strings

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

NoSQL을 제대로 알기 전에 RDBMS의 특징을 제대로 알고 가보자!

RDBMS의 특징

• Column과 Row가 두개 이상의 테이블
• Row: 정보를 나타냄
• Column: 이름, 주소 등 특정한 유형의 정보를 정렬
• 스키마: 테이블과 필드 타입 간의 관계
• 관계형 데이터베이스에서 스키마는 정보를 추가하기 전에 명확하게 정의되어 있어야 함.
  • 테이블과 필드의 설계를 확실히하고 데이터를 저장해야함.
  • 데이터 중복을 최소화, 데이터 정합성을 맞춰야 함.
  • 데이터의 유연성이 떨어지는 상황도 발생하기도 함.
• SQL
  • 데이터베이스 설계자가 관계형 데이터베이스를 설계하는데 사용하는 프로그래밍 언어.
  • 쿼리를 통해 데이터를 생성, 검색, 수정, 삭제 가능.

NoSQL

Not Only SQL
기존 RDBMS 방식을 탈피한 데이터베이스 기존의 관계형 DB가 가지고 있는 특성뿐만 아니라 다른 특성들을 부가적으로 지원. RDBMS가 가지고 있는 한계를 극복하기 위해 데이터 저장소의 새로운 형태로 수평적 확장성을 지님으로써 문서, 그래프, 키 값, 인 메모리, 검색을 포함하여 다양한 데이터 모델을 사용.

NoSQL 특징

• RDBMS와 달리 데이터 간의 관계를 정의하지 않음.
• RDBMS에 비해 훨씬 더 대용량의 데이터를 저장 가능.
• 반정형화, 비정형 데이터에 적합.
• 분산형 구조이기에 확장성이 뛰어남.
• 고정되지 않은 테이블 스키마를 가짐.
• ACID대신 Eventual Consistency를 허용한다.

💡 ACID
ACID는트랜잭션이 안전하게 수행된다는 것을 보장하기 위한 성질을 가르키는 약어로
원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability)이 존재.

💡 Eventual Consistency
다양한 기기에 분산 저장되어 있는 데이터를 Update할 경우 실시간으로 다른 기기에 전파하기에 어려운데
이를 조금 타협하여 최신은 아닐 수 있지만 Update 전까지는 최신의 데이터를 반환.

NoSQL 유형

• Graph Store: 서로 연관된 그래프 형식의 데이터를 저장
  • Node와 Edge에 데이터를 저장
  • Node: 사람, 장소 및 사물에 대한 정보가 저장.
  • Edge: 노드 간의 관계에 대한 정보가 저장.
  • 소셜 네트워크, 사기 탐지, 권장 엔진 같은 패턴을 찾아보기 위해 관계를 상세히 검토해야하는 사례에 적합.
  • Neo4j와 JanusGraph
• Wide Column Store: Row가 아닌 Column 형태로 데이터를 저장
  • 테이블, 행 및 동적 열에 데이터를 저장
  • 각 행이 동일한 열을 가질 필요가 없다는 점에서 관계형 데이터베이스에 비해 뛰어난 유연성을 제공.
  • 대량의 데이터를 저장해야할 때 적합.
  • 사물인터넷 데이터와 사용자 프로필 데이터를 저장하는데 사용
  • Cassandra, HBASE
• Document Store: 비정형 대량 데이터를 저장
  • JSON 객체와 비슷한 문서에 데이터를 저장.
  • 각 문서에는 필드와 값의 쌍이 포함
  • 일반적으로 값은 String, Number, Boolean, Array, Object 등 다양한 유형이 가능
  • MongoDB
• Key-Value Store: 메모리 기반으로 빠르게 데이터를 저장 및 읽기
  • Key-Value 데이터베이스는 각 항목에 키와 값이 포함되어 있는 보다 간단한 유형의 데이터베이스
  • Value은 보통 Key를 참조하는 방식으로만 검색이 가능
  • Key-Value 데이터베이스는 대량의 데이터를 저장해야 하지만 검색을 위해 복잡한 쿼리를 수행할 필요가 없는 사례에 적합.
  • 일반적으로 사용자 선호도 저장 또는 캐싱에 사용
  • Redis, DynanoDB

NoSQL 장점

• 유연성: 스키마가 없기 때문에 유연한 데이터구조
• 확장성: 데이터 분산이 용이하며 성능 향상을 위한 Scale-up, Scale-out이 가능
• 고성능: 특정 데이터 모델 및 액세스 패턴에 대해 최적화 되어 관계형 DB를 통해 유사한 기능을 충족하려 할 때보다 뛰어난 성능
• 고기능성: 각 데이터 모델에 맞춰 특별히 구축된 뛰어난 기능의 API와 데이터 유형을 제공

NoSQL 단점

• 데이터 중복 가능: 데이터 변경시 모든 컬렉션에서 수행해야 함.
• 스키마가 존재하지 않아 명확한 데이터 구조를 보장하지 못함.
• 제품 지원을 받기 어려움.

사용 요령

• NoSQL은 데이터의 구조를 알 수 없는 경우 사용하는 것이 좋다.
• Update가 많이 이뤄지지 않는 시스템이 좋다
• Scale-out이 가능하다는 장점이 있어 막대한 데이터를 저장해야하는 경우 적합하다.
• 기존의 정형화된 데이터 뿐만 아니라 메신저 텍스트, 음성 등 반정형화, 비정형화된 데이터도 저장하고 다루어야 하는 경우
• 대규모 데이터를 다루는데 해당 데이터의 특징이 자주 바뀌는 경우
• 강력한 일관성보다 성능과 가용성이 더 중요한 서비스인 경우
• 굳이 ACID 특징이 필요 없는 읽기 전용 데이터를 관리하는 경우

참조

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

과제 3

받은 내용을 그대로 다시 돌려주는 echo{영어이름} 명령을 만들어보자

과제 시작 전 배경지식..

Redis에 명령은 어디에 저장되어 있을까?

src/ 디렉토리 밑에 commands 시작하는 파일이 존재.

src/commands.h
src/commands.c
src/commands.def

추가: def 파일 정리

echo 명령은 어떻게 실행될까?

기본적으로 echo 명령은 받은 문자를 그대로 반환하는 명령이다. 

과정

// commands.h

// commands.c
#define MAKE_CMD(name,summary,complexity,since,doc_flags,replaced,deprecated,group,group_enum,history,num_history,tips,num_tips,function,arity,flags,acl,key_specs,key_specs_num,get_keys,numargs) name,summary,complexity,since,doc_flags,replaced,deprecated,group_enum,history,num_history,tips,num_tips,function,arity,flags,acl,key_specs,key_specs_num,get_keys,numargs
#define MAKE_ARG(name,type,key_spec_index,token,summary,since,flags,numsubargs,deprecated_since) name,type,key_spec_index,token,summary,since,flags,deprecated_since,numsubargs
#define COMMAND_STRUCT redisCommand
#define COMMAND_ARG redisCommandArg

// commands.def
{MAKE_CMD("echo","Returns the given string.","O(1)","1.0.0",CMD_DOC_NONE,NULL,NULL,"connection",COMMAND_GROUP_CONNECTION,ECHO_History,0,ECHO_Tips,0,echoCommand,2,CMD_LOADING|CMD_STALE|CMD_FAST,ACL_CATEGORY_CONNECTION,ECHO_Keyspecs,0,NULL,1),.args=ECHO_Args},

// server.h
void echoCommand(client *c);

//server.c
void echoCommand(client *c) {
    addReplyBulk(c,c->argv[1]);
}

1. commands.h 파일에는 redis의 command에 대한 arg 타입들을 지정.
2. commands.c 파일에는 함수타입을 지정.
3. commands.def 파일에는 실제 함수를 지정하는 라인이 존재.
   1. echo 함수는 echoCommand를 실행.
4. server.h 파일에는 echoCommand() 함수를 정의.
5. server.c 파일에는 실제 echoCommand() 함수를 구현.

하는 프로세스로 동작을 하였다.

추가: 프로세스 정리

과제 수행

나의 이름과 좋아하는 숫자를 조합하여 echoHero17 명령어를 생성.

// commands.def
{MAKE_CMD("echoHERO17","Returns the given string.","O(1)","1.0.0",CMD_DOC_NONE,NULL,NULL,"connection",COMMAND_GROUP_CONNECTION,ECHO_History,0,ECHO_Tips,0,echoCommandHero17,2,CMD_LOADING|CMD_STALE|CMD_FAST,ACL_CATEGORY_CONNECTION,ECHO_Keyspecs,0,NULL,1),.args=ECHO_Args},

// server.h
void echoCommandHero17(client *c);

// server.c
void echoCommandHero17(client *c) {
    addReplyBulk(c, c->argv[1]);
}

1. commands.def 파일에는 echoHERO17 명령어를 생성하고 echoHERO17은 echoCommandHero17()를 실행.
2. server.h 파일에는 echoCommandHero17() 함수를 정의.
3. server.c 파일에는 실제 echoCommandHero17() 함수를 구현.

다음과 같이 echoHERO17 명령어가 잘 실행되는 것을 볼 수 있다.

느낀점

레디스의 코드를 볼 수 있어서 좋았지만 아직 모르는 코드와 실행동작이 존재하였다. 과제 이후에도 블로그를 지속적으로 수정하면서 포스팅을 보안해 나가야겠다.