영웅's Computer Science Knowledge Storage

프로젝트 진행 목표 및 과정

멘토님께서 Redis라는 큰 오픈소스의 이슈를 해결하기에는 4주라는 기간은 너무 짧다고 판단하여서, 해당 기간 동안 Redis에 대한 학습에 집중하기로 결정하셨습니다.

우선, 프로젝트 시작 전에 2주 동안은 오픈소스 커뮤니티에서 제공하는 유튜브 강의를 시청하여 git에 대한 기본적인 이해를 정리하는 시간을 가졌습니다. Git은 협업 및 버전 관리를 위해 필수적인 도구이며, 오픈소스 프로젝트에 기여할 때 필수적인 요소입니다. 따라서, 기본적인 Git의 개념과 사용법을 숙지하고자 이러한 학습을 진행했습니다.

다음으로, 나머지 4주 동안은 Redis에 대한 깊은 학습에 집중하였습니다. 이 기간 동안에는 Redis의 주요 기능과 용도를 학습하고, 실제로 어떻게 사용되는지에 대한 심도 있는 이해를 갖도록 노력하고 있습니다.

또한, Redis의 소스 코드를 분석하고 멘토님께서 주시는 과제를 수행하면서 레디스의 코드를 실제 수정하고 디벨롭하면서 실전 경험을 쌓고있습니다. 이를 통해 오픈소스 프로젝트에 기여하는 데 필요한 기술과 지식을 획득하고, 더 나아가 Redis와 관련된 이슈를 해결하는 데 기여할 수 있는 역량을 키우는 것이 목표입니다.

이러한 과정을 통해 Redis에 대한 전문 지식을 쌓고, 오픈소스에 기여할 수 있는 능력을 키우는 것이 이 프로젝트의 목표입니다. 더불어, Git을 활용한 협업 및 버전 관리에 대한 이해도 함께 높이고자 합니다. 이를 통해 프로젝트 진행 과정에서 필요한 기술과 역량을 갖추어, 효과적으로 오픈소스 프로젝트에 기여할 수 있는 개발자로 성장하는 것이 최종 목표입니다.

온⸱오프라인 모임을 통한 기여 및 활동 내역

Redis의 개념을 잘 모르기에 멘토님이 말씀해주시는 것을 기록하고 그 이외의 파생해서 조금 더 공부가 필요한 것은 따로 공부해서 정리하였습니다.

💡
2주차 온라인 미팅: https://dev-hiro.tistory.com/13
NoSQL: https://dev-hiro.tistory.com/10
과제3: https://dev-hiro.tistory.com/9
과제3 해설: https://dev-hiro.tistory.com/11
과제4: https://dev-hiro.tistory.com/14

활동소감

이 강의를 통해 DB와 같은 개념은 이론적으로만 알고 있었던 저에게 실제 코드 레벨에서의 이해와 적용 방법을 배울 수 있어서 매우 유익했습니다.

레디스는 많은 기업에서 사용되는 인메모리 데이터 구조 저장소로서, 그 유연성과 뛰어난 성능으로 유명합니다. 그런데도 실제로 그 내부 동작 메커니즘을 알고 코드 레벨에서 어떻게 활용할 수 있는지에 대해 배우는 것은 새로운 경험이었습니다. 이를 통해 레디스가 어떻게 작동하는지에 대한 이해가 더 깊어졌고, 이를 통해 개발 프로젝트에서 레디스를 보다 효율적으로 활용할 수 있을 것 같습니다.

특히, 이러한 강의를 통해 오픈소스에 대한 기여에 대한 관심이 더 커졌습니다. 다음에는 Redis에 대해 더 깊게 공부하고, 커뮤니티에 기여하는 것이 목표입니다. 오픈소스 프로젝트에 참여함으로써 다른 사람들과 지식을 공유하고 성장할 수 있는 기회를 얻을 수 있을 것으로 기대됩니다.

또한, 이를 통해 제 개인적인 기술 스택을 향상시키고, 전반적인 개발 커리어에 도움이 될 것으로 기대됩니다.

앞으로 Redis를 더 깊게 공부하고 기여하는 과정에서 어려움이 있을지도 모르지만, 그 과정에서 더 많은 것을 배우고 성장할 수 있는 기회라는 것을 인식하고 있습니다. 다양한 프로젝트와 커뮤니티에서의 경험을 통해 개발자로서의 역량을 향상시키고, 다른 이들과 함께 협업하며 성공을 이끌어 나갈 수 있기를 기대합니다.

이러한 강의를 열어주신 Open Up에 감사드리며, Redis 강사님이신 강대명 멘토님께도 감사드립니다.

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

레디스 내부에서 해시를 다루는 방법

Redis에 주요 자료구조 이해

server.c/initServer

• 서버에 필요한 내용 초기화
• signal handler 설정

signal(SIGHUP, SIG_IGN);
signal(SIGPIPE, SIG_IGN);
setupSignalHandlers();

• thread io => thread pool
• Event Loop 설정

server.el = aeCreateEventLoop(server.maxclients+CONFIG_FDSET_INCR);
    if (server.el == NULL) {
        serverLog(LL_WARNING,
            "Failed creating the event loop. Error message: '%s'",
            strerror(errno));
        exit(1);
    }
server.db = zmalloc(sizeof(server)*server.dbnum);

💡이벤트 루프
Redis에서 이벤트 루프(Event Loop)는 비동기 네트워크 서버로서 클라이언트 요청을 처리하고,
비동기 작업을 관리하는 핵심 메커니즘. 이벤트 루프는 주로 네트워크 IO(READ, WRITE...)를 처리하는 데 사용.

Redis는 싱글 스레드로 동작하므로 이벤트 루프는 모든 클라이언트의 요청을 효율적으로 처리하는 데 중요한 역할.
모든 작업처리는 단일 콜스택에서 이루어지고 비동기 처리는 Queue를 이용하여 이벤트 루프방식으로 동작.

여러 개의 소켓이 동시에 연결되어 있고, 이들을 관찰하면서 들어오는 작업을 처리.
이를 통해 Redis는 스레드 동기화, 컨텍스트 스위칭으로 발생하는 리로스 경합 및 오버헤드, 복잡성을 방지.

SELECT

• 디비 번호를 바꾸어서 사용할 수 있는 명령어.(0~15까지)
• flushdb
  • DB 내용 전체 바꾸기
  • 레디스 클라이언트는 디비 번호가 0. 다른 디비를 사용할 수 없음
  • createIntConfig 설정

• 자료구조들 초기화

내부적으로 사용하는 것.

listCreate

• list를 생성

list *listCreate(void)
{
    struct list *list;

    if ((list = zmalloc(sizeof(*list))) == NULL)
        return NULL;
    list->head = list->tail = NULL;
    list->len = 0;
    list->dup = NULL;
    list->free = NULL;
    list->match = NULL;
    return list;
}

dictCreate

typedef struct dictEntry {
    void *key;                 // 항목의 키
    void *val;                 // 항목의 값
    struct dictEntry *next;    // 같은 해시 버킷의 다음 항목을 가리키는 포인터
} dictEntry;

typedef struct dictType {
    unsigned int (*hashFunction)(const void *key);                // 키를 해싱하는 함수
    void *(*keyDup)(void *privdata, const void *key);             // 키를 복사하는 함수
    void *(*valDup)(void *privdata, const void *obj);             // 값을 복사하는 함수
    int (*keyCompare)(void *privdata, const void *key1, const void *key2); // 키를 비교하는 함수
    void (*keyDestructor)(void *privdata, void *key);             // 키를 해제하는 함수
    void (*valDestructor)(void *privdata, void *obj);             // 값을 해제하는 함수
} dictType;

typedef struct dict {
    dictEntry **table;         // 해시 테이블의 버킷 배열
    dictType *type;            // 테이블에서 사용할 함수들을 정의하는 dictType 구조체
    unsigned long size;        // 해시 테이블의 버킷 수
    unsigned long sizemask;    // 해시 테이블 크기 마스크 (size - 1)
    unsigned long used;        // 해시 테이블에 저장된 항목 수
    void *privdata;            // 함수 호출에 사용할 사용자 정의 데이터
} dict;

/* Create a new hash table */
static dict *dictCreate(dictType *type, void *privDataPtr) {
    dict *ht = hi_malloc(sizeof(*ht));
    if (ht == NULL)
        return NULL;

    _dictInit(ht,type,privDataPtr);
    return ht;
}

/* Initialize the hash table */
static int _dictInit(dict *ht, dictType *type, void *privDataPtr) {
    _dictReset(ht);
    ht->type = type;
    ht->privdata = privDataPtr;
    return DICT_OK;
}

• hashTable 생성
• dictEntry
  • dictEntry 구조체는 해시 테이블의 각 버킷에 저장되는 개별 항목을 나타냄.
    체인법을 사용하여 충돌을 처리. 
  • key: 해시 테이블에서 항목을 식별하는 데 사용되는 키
  • val: 키에 해당하는 값
  • next: 해시 충돌이 발생했을 때 동일한 버킷 내의 다음 항목을 가리킴. 이를 통해 체인 형태로 연결된 항목들을 관리.
• dictType
  • dictType 구조체는 해시 테이블에서 사용하는 함수들을 정의.
    키와 값의 처리 방식(복사, 비교, 해제 등)을 커스터마이징하는 데 사용. 
  • 함수 포인터 사용 => 다형성 제공
  • hashFunction: 주어진 키에 대해 해시 값을 계산
  • keyDup: 키를 복사
  • valDup: 값을 복사
  • keyCompare: 두 키를 비교
  • keyDestructor: 키를 해제
  • valDestructor: 값을 해제
• dict
  • dict 구조체는 실제 해시 테이블을 나타냄.
    해시 테이블은 키-값 쌍을 저장하는 버킷 배열과 기타 메타 데이터를 포함.
  • table: 해시 테이블의 버킷 배열로, 각 버킷은 dictEntry 포인터를 가짐.
  • type: 이 해시 테이블에서 사용할 함수들을 정의하는 dictType 구조체를 가리킴.
  • size: 해시 테이블의 현재 크기(버킷 수).
  • sizemask: 해시 테이블 크기에서 버킷 인덱스를 계산할 때 사용하는 마스크 값입. 일반적으로 size - 1입니다.
  • used: 현재 해시 테이블에 저장된 항목의 수.
  • privdata: 함수 호출 시 사용할 수 있는 사용자 정의 데이터.
• 생성시에 dictType을 넣어줌
  • _dictInit에서 타입설정
  • dictFind()
    • dictSize는 동일
    • dictCompareKeys() => 키 비교 함수
    • dbDictType
      • sds인지, robj인지 확인
• serverDb
  • 자료구조 설정.

createZset

• sorted set 설정
• dictAddRaw
  
  • 키를 집어 넣는 것.

특정 slot에 포함된 데이터를 가져오려면?

• 선형으로 검색해서 모두 들고 오기(Full Scan)
  • 레디스는 싱글 스레드이기에 멈춰있어야함.
• 처음부터 slot 별로 데이터를 따로 관리
  • 16384개의 dict
  • 위의 문제를 해결하기 위해 kvstore 생성

참조

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

과제 4 설명

echo2 abc라고 보내면 abc가 응답이 아닌 echo2_abc가 응답으로 오도록

• bulk 단위
  • Respv2 기준 하나의 명령을 나타내는 block
  • ex) $4\r\npong\r\n
• echo abc 라고 명령을 입력했을 때
  • c → argc = 2 =>명령어의 길이
  • c → argv[0] = “echo” => 첫번째 명령어
  • c → argb[1] = “abc” => 두번째 명령어

robj(server object)

• type: 4bit
  • 2^4 ⇒ 16개의 타입 가능
• encoding: 4bit
• lru: 24bit
  • lru, lfu 쓸때 모두 사용.
• type + encoding + lru 총 32bit/4byte
• refcount: 똑같은거 시키면 +1, 0이 되면 지워짐
• void * ptr ⇒ 8byte
• 총 16byte의 메모리 공간을 할당 받게됨.

argc, argv가 만들어지는 곳

• processMultibulk…에서 생성
• createStringObject() 또는 createObject()에서 만듦

SDS

이전 포스팅에서도 작성했지만 한번 더 작성.

• 서버 시스템에서는 메모리를 아끼기 위해.
• 동적으로 길이를 사용하기에 변수에 따라서 스트링의 길이를 조절하기 위해.
• redis에서 사용하고 있는 구조체
• sds의 사이즈를 가변적으로 가르키기위해.

c에서의 메모리의 값을 읽는 스킬

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

typedef struct memory_header {
    unsigned long size;
    char ptr[];
}memheader;

char *STRING = "hello, OSSCA!";
void test(char *ptr) {
    printf("%s\n", ptr);
    memheader *mh = (memheader *)(ptr-sizeof(memheader));
    printf("size: %d\n", mh->size);
}

int main(int argc, char *argv[]) {
    printf("%d\n", sizeof(memheader));

    memheader *mh = (memheader *)malloc(sizeof(memheader) + 16);
    mh->size = strlen(STRING);
    memcpy(mh->ptr, STRING, mh->size);
    mh->ptr[mh->size] = 0;

    test(mh->ptr);
    return 0;
}

8
hello, OSSCA!
size: 13

• 뒷 부분만 전달했음에도 size를 읽어올 수 있음.
• 메모리를 다루는 언어인 C라서 가능한 스킬.
• sdsHdrSize()는 실제 메모리의 사이즈를 알려주는데, 이를 통해서 값을 가져올 수 있음.

과제 4 수행

실제 과제 풀이 해답은 여러개가 있을 수 있다.

1. robj를 변경하는 방법
2. addreplyBulkSds()를 사용하는 방법
3. addReplySds()를 사용하는 방법

이 있는데 2, 3번에 대해서만 보이면

addReplySds()를 사용

void echo2Command(client *c) {
    sds reply = sdscatfmt(sdsempty(), "echo2_%s", c->argv[1]->ptr);
    addReplyLongLongWithPrefix(c, sdslen(reply), '$');
    addReplySds(c, reply);
    addReplyProto(c, "\r\n", 2);
}

• client 객체로부터 받은 명령어를 sdscatfmt()를 통해 새로운 문자열을 생성.
  • sdsempty()
    • sds 타입의 새로운 빈 문자열을 생성하는 함수.
    • sdsnewlen()을 통해 sds를 새로 생성
  • sdscatfmt()
    • sds 타입의 변수에 서식 지정된 문자열을 추가하는 함수.
    • 형식 지정자(format specifier)를 사용하여 문자열을 생성하고, 해당 문자열을 SDS에 추가합니다. 서식 지정자는 %s, %d, %f 등과 같이 다양한 형태로 사용될 수 있으며, 이를 통해 다양한 타입의 데이터를 문자열로 변환하여 SDS에 추가 가능.
  • addReplyLongLongWithPrefix()
    • Redis 클라이언트에게 정수 값을 포함하는 응답을 보내느 함수.
    • 주어진 정수 값(sds의 길이)이 작을 경우 프로토콜에서 사용되는 header를 공유 객체로 사용.
      • 이렇게 함으로써 메모리 절약.
      • 공유된 헤더를 사용함으로써 응답을 생성.
    • 생성된 응답을 클라이언트에게 전달하기 위해 addReplyProto() 함수를 호출
  • addReplySds()
    • Redis 클라이언트의 버퍼에 s를 추가하는 함수.
    • PrepareClientToWrite()
      • 클라이언트가 쓰기 작업을 준비할 수 있는 상태인지 확인.
    • _addReplyToBufferOrList()
      • flag와 type를 통해 client와의 상태를 확인.
      • _addReplyToBuffer() 함수를 호출하여 클라이언트의 응답 버퍼(client->buf)에 응답을 추가.
    • 이후 sds는 더이상 사용되지 않으므로 메모리를 해제하여 메모리 leak을 방지
  • addReplyProto()
    • Redis 클라이언트에게 프로토콜 형식의 응답을 보내는 역할. s와 len을 이용하여 클라이언트의 버퍼에 응답을 추가.
    • 여기서는 명령어의 종료 역할.
    • PrepareClientToWrite() 실행.
    • _addReplyToBufferOrList() 실행.

다른 방법

/**
 * sdsnewlen을 통해 생성하는 방법
 */
sds reply = sdsnewlen("echo2_", 6); // "echo2_" 문자열을 포함한 SDS 생성
reply = sdscatfmt(reply, "%s", c->argv[1]->ptr); // 뒤에 인자 추가


/**
 * sdssetlen을 통해 생성하는 방법
 */
sds reply = sdsnewlen(NULL, 6); // 초기 크기가 6인 빈 SDS 생성
memcpy(reply, "echo2_", 6); // "echo2_" 문자열 복사
sdssetlen(reply, 6); // SDS 길이 설정
reply = sdscatfmt(reply, "%s", c->argv[1]->ptr); // 뒤에 인자 추가

이외의 다른 방법으로도 가능하다.

addReplyBulkSds()를 사용

void echo2Command(client *c) {
    sds reply = sdscatfmt(sdsempty(), "echo2_%s", c->argv[1]->ptr);
    addReplyBulkSds(c, reply);   
}

• 그 이후 생성된 새로운 문자열을 클라이언트에게 반환하게 위해 addReplyBulkSds()를 사용.

addReplyBulkSds()

/* Add sds to reply (takes ownership of sds and frees it) */
void addReplyBulkSds(client *c, sds s)  {
    addReplyLongLongWithPrefix(c,sdslen(s),'$');
    addReplySds(c,s);
    addReplyProto(c,"\r\n",2);
}

• 실제 위의 구현한 방법과 동일한 flow로 진행된다.

127.0.0.1:6379> 
127.0.0.1:6379> echo 123
"123"
127.0.0.1:6379> echo2 123
"echo2_123"
127.0.0.1:6379>

원하는 대로 결과가 잘 출력된 것을 볼 수 있다.

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

이번 과제는 지난 과제 3이였던 echo 명령을 개선하는 과제이다.

이번 힌트는 sds 구조체 분석이다. 

과제 3 세팅

먼저 이전 과제 3번을 세팅하면

이전 과제에서는 직접 command.def 파일에 정의했다면 json 파일을 통해 정의하는 방법으로 진행하겠다.

src/commands 아래에 echo2.json 파일을 다음과 같이 생성한다. document와 함께 def 파일을 정의하기 위해 redis에서는 다음과 같이 json으로 빌드 시에 def 파일에 정의할 수 있도록 하였다.

{
    "ECHO2": {
        "summary": "Returns the given string.",
        "complexity": "O(1)",
        "group": "connection",
        "since": "1.0.0",
        "arity": 2,
        "function": "echo2Command",
        "command_flags": [
            "LOADING",
            "STALE",
            "FAST"
        ],
        "acl_categories": [
            "CONNECTION"
        ],
        "reply_schema": {
            "description": "The given string adding string echo2",
            "type": "string"
        },
        "arguments": [
            {
                "name": "message",
                "type": "string"
            }
        ]
    }
}

그 이후 utils/ 폴더의 generate-command-json.py 와 generate-command-code.py 를 실행하면 command.def 파일에 정의가 된다.

이후 이제 server.h와 server.c에서 echo2Command를 정의한다.

가 되면 과제 3은 완료가 되었다!

과제 4

함수 실행 flow

먼저 함수 실행 flow를 분석해보면

다음과 같다. 간략하게 설명하면

• connGetPrivateData: client 객체를 생성
• ProcessInputBuffer: protocol에 따라 Inline으로 실행할 지 Multibulk로 실행할 지 판단.
• lookupCommand: 지금 실행하는 함수를 Map에서 조회. 실행하는 함수 이름을 key로.
• call: 함수를 실행.

이다.

구조체 분석

함수를 다음과 같이 구성하고 echo2 123을 실행해보면 shell에 *2\r\n$5\r\necho2\r\n$3\r\n123\r\n이 출력된다.

그래서 나는 querybuf를 변경하면 될 것이라 생각했고, querybuf는 client 구조체의 멤버이므로 client는 다음과 같이 이루어져 있었다.

sds 구조체(Simple Dynamic String)

querybuf는 sds 구조체로 이루어져 있어 해당 sds 구조체를 보면 다음과 같다.

단순히 문자열을 sds라고 칭한 것인데, 조금 더 분석해보자면

• 문자열을 단순히 char*만 사용하면 문자열의 길이를 확인할 때 항상 저장된 메모리의 크기를 확인해야 하기에 성능 상의 문제점이 발생할 수 있음.
  • sdshdr 구조체를 사용함으로써, 저장된 문자열의 길이를 확인하는데 O(1)의 조회가 됨.
• 실제로 데이터가 저장되는 부분은 char*로 저장되어 있는 sds.
• 새로운 문자열을 생성하려면 sdsnewLen함수를 이용.

과제 수행

echo2Command 이후 addReplyBulk를 분석하면 다음과 같다. 

틀릴 확률이 높지만 파악한대로 설명을 이어나가면

• addReplyBulkLen: 명령어의 길이를 파악
• addReply: 실제 argu 값을 반환
• addReplyProto: 마무리 작업.

을 한다고 파악이 되었다. 예를 들어 echo2 123이면 

• addReplyBulkLen: 123의 길이인 3을 파악하고
• addReply: 123이라는 값을 반환하고
• addReplyproto: 명령어를 종료.

한다고 생각했다. 따라서 상위 함수인 addReplyBulk에 client 객체에 querybuf만 변화시켜주면 된다고 생각했는데 되질 않았다.

강의를 듣고 수정해보도록 하겠다.

💡 참고
redis sds관련: https://djlee118.tistory.com/109

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

Cache 적용 후 Select Query 비교

• 캐시는 얼마나 Hit 되는지가 중요한 요소
• SELECT는 캐시 Hit 이후 평균 시간이 급격하게 감소
• UPDATE는 캐시 Hit가 있을 수 없으므로 캐시 적용 전과 비슷.

CPU 사용량

• 서비스에 따라 다르지만 SELECT가 DB에 도착하지 않으므로(캐시를 사용하므로) CPU 사용량이 줄어듦.
  • DB에 레플리카를 만들어서 SELECT
  • WRITE에는 다른 트릭을 적용해서 CPU 사용량을 줄일 수 있음.

💡 Performance Tool
gatling, locust, 엥그라이드, jmeter가 존재. 최근에는 gatling, locust가 많이 사용하는 추세

분산 캐시

• 데이터가 많다면, 하나의 Cache Server가 아니라 여러 캐시 서버를 구성할 수 있음.
• ex) Redis With Range, Redis with PreShard, Redis with Consistent Hashing

상황

데이터를 나누는 기준이 중요

• 서버는 계속 늘어나기에 데이터를 나누는 기준이 필요
  • 데이터가 재분배가 계속되면 안좋음.

• 전체를 찾는건 서버에 부하

1. 모듈러(%2, %3 ... %N)

• 서버 추가시 데이터 재분배가 일어나야함.
  
  

2. Range로 구분하는 방법

• 초창기에 들어오는 유저는 활동량이 많고 이벤트시 들어오는 유저는 활동량이 없음.
• 활동적인 유저는 서버 1에만, 이벤트 시 들어오는 유저는 서버 2에만 들어가기에 서비스 분배에 부적합
• 서버의 부하도가 다름.

3. Preshard

• hash값으로 균등하게

Session Store

• Session Store(로그인 토큰 같은 정보 저장)로 Redis를 많이 사용
• Session을 개별 서버나, 클러스터링이 아닌, 외부 스토리지(Redis)에 저장.
• Session Store가 죽으면 정보가 사라짐.

Distribution Lock

• 분산 락으로 동작
  • Optimistic Lock으로 동작
  • Key가 존재하면 대기하는 형태
    • 바로 실패로 구성할지, Spinlock 형태로 동작할 지(Redisson 구현체) 등 구현에 따라 다름.
• setnx
  • 키(데이터)가 없을때만 쓸 수 있음.
  • 키가 있으면 실패
  • 락을 얻음.
  • 락을 풀기 위해 key를 지우면 됨.
• t_string.c/setGenericCommand
  • found가 false일 때만 사용할 수 있음

void setGenericCommand(client *c, int flags, robj *key, robj *val, robj *expire, int unit, robj *ok_reply, robj *abort_reply) {
    long long milliseconds = 0; /* initialized to avoid any harmness warning */
    int found = 0;
    int setkey_flags = 0;

    if (expire && getExpireMillisecondsOrReply(c, expire, flags, unit, &milliseconds) != C_OK) {
        return;
    }

    if (flags & OBJ_SET_GET) {
        if (getGenericCommand(c) == C_ERR) return;
    }

    found = (lookupKeyWrite(c->db,key) != NULL);

    if ((flags & OBJ_SET_NX && found) ||
        (flags & OBJ_SET_XX && !found))
    {
        if (!(flags & OBJ_SET_GET)) {
            addReply(c, abort_reply ? abort_reply : shared.null[c->resp]);
        }
        return;
    }
    // ...
}

127.0.0.1:6379> setnx ossca 2024
(integer) 1
127.0.0.1:6379> setnx ossca 123
(integer) 0
127.0.0.1:6379> get ossca
"2024"
127.0.0.1:6379> set ossca 4/26
OK
127.0.0.1:6379> get ossca
"4/26"

• 처음에는 key가 ossca인 데이터가 없으므로 성공적으로 만들어졌기에 1이 반환됨.
• 두번째는 ossca라는 값이 있으므로 실패를 뜻하는 0이 반환됨.
• get을 통해 2024 값을 잘 읽어오고
• set은 lock과 관계 없이 설정이 된다.
• 프로세스가 지워지면 ttl을 5초 걸어두어 그 전에 접속하면 된다. 그 후에는 key가 사라진다.

Leaderboard

• Sorted Set(zset)이 score를 저장할 수 있기에 redis로 활용함.
  • score, key 순
  • zrange zkey1 0 -1 하면 오름차순으로 랭킹이 나옴
  • src/t_zset.c
    • double 형태로 인자를 받음
    • zslCreateNode()
    • 근사값이므로 값이 오차가 발생할 수 있음

127.0.0.1:6379> zadd zkey1 100 one
(integer) 1
127.0.0.1:6379> zadd zkey1 1000 two
(integer) 1
127.0.0.1:6379> zrange zkey1 0 -1
1) "one"
2) "two"
127.0.0.1:6379> zadd zkey1 500 three
(integer) 1
127.0.0.1:6379> zrange zkey1 0 -1
1) "one"
2) "three"
3) "two"
127.0.0.1:6379> zrange zkey1 0 -1 withscores
1) "one"
2) "100"
3) "three"
4) "500"
5) "two"
6) "1000"

제가 공부한 내용을 정리하는 블로그입니다.
아직 많이 부족하고 배울게 너무나도 많습니다. 틀린내용이 있으면 언제나 가감없이 말씀해주시면 감사하겠습니다😁

2024년 4월 27일 온라인 강의 내용

• 레디스의 echo 명령: 받은 내용 그대로 전달.

set a 123

/*
 * set a 123이라는 명령이 들어올 때..
 * argv[0]: set
 * argv[1]: a
 * argv[2]: 123
 * argc: 2
 */

Redis 실행 flow

• ServerCommandArg
• ServerCommand
• generate-command-code.py
  • 해당 파일에서 make_cmd를 자동적으로 만들어줌.
  • comand_list에 들어가는 내용과 JSON을 읽어와서 명령어를 추가.
  • Document와 함수를 한번에 처리하기 위해 JSON을 추가하고 python을 실행하면 def 파일이 만들어짐.
• server.c에서 실제 함수 추가
• make 후 telnet 0 6379 접속

make_cmd

• 받은거 전달. 풀어서 저장하는 것만.
• 파라미터 함수들이 바뀌면 or 구조체가 바뀌면(순서마저도) 작업을 일일이 바꿔야 하므로 이러한 트릭을 사용.
• CommandStruct 구조체의 생성자로 serverComandTable[]

populateCommandTable

• 명령 테이블
• server.c에 정의
• serverCommandTable[]을 하나씩 돌면서 커맨드를 만들어서 populateCommand를 dicAdd server.comand라는 키로 저장
• 데이터를 키로 찾아오는 것.

lookupCommand

• 명령 함수 찾아옴.
• networking.c
  • 레디스 telnet이라 썼을때
    • 한줄로 보낼 수도 있고
    • 여러 줄로 보낼 수도 있음
  • processMultiBulk
    • 함수가 끝나면 명령어가 만들어짐
    • processCommandAndResetClient 함수를 실행하면
    • processCommand 실행
    • lookupCommand 실행
    • lookupCommandLogic 실행
    • 명령이 들어있는 해시 테이블 반환.
    • 명령어를 찾으면 이제 실행.
  • processInlineBuffer