Wiki Index

일괄 처리

준비!

#[tokio::main] async fn main() { // 1. 필요한 설정, 데이터 등을 세팅함. let state = StateManager::new(); let config_handler = ConfigHandler::new(state.get_db(), state.get_config(), state.get_replication_config()); config_handler.load_config().await; config_handler.configure_db().await; config_handler.configure_replication().await; let port = config_handler.get_port().await; let listener = TcpListener::bind(format!("127.0.0.1:{}", port)).await.unwrap(); println!("Listening on port {}", port); loop { match listener.accept().await { // 2. 스트림을 따서, 스트림을 handle_client로 전달 Ok((stream, _)) => { let db = state.get_db(); let config = state.get_config(); let replication_config = state.get_replication_config(); task::spawn(async move { // 3....

Prerequisite 내가 직면한 문제는 아래의 문서에 있다. 👉 [[Redis-Stream-Issue]] 아주 간단하게 요약하자면, 각 스레드가 스트림을 물고다니면서 태스크가 처리되고, 리소스들을 lock으로 관리한다. 지금까지는 그나마 괜찮았는데, 레플리케이션의 쓰기 전파를 생각해봤을 때, 다수의 슬레이브 스트림을 락으로 관리하는 구조에서는 간단한 쓰기 요청에서도 슬레이브들의 스트림을 사용하는 쓰기 락 때문에 지나친 병목이 발생한 구조라는 것이다. 원조 레디스는 싱글스레드와 이벤트루프로 구현된다. 과정에서 좋은 방법이 없을까 하다가 찾게된건 mpsc이고 mpsc에 대한 간단한 조사를 아래의 문서에 정리했다. 👉 [[rust-mpsc]]...

mpsc란? Rust의 mpsc 채널은 “여러 생산자 (Multiple Producer)“와 “하나의 소비자 (Single Consumer)“로 메시지를 보내고 처리 할 수 있는 비동기 도구이다. 아이디어도 아이디어지만, 기본적으로 설계와 동작이 Rust의 소유권과 동시성 모델에 기반을 두고 있다. 기본적인 사용 방식은 아래와 같다. mpsc::channel tx (생산자), rx(소비자) 를 반환받는다. use tokio::sync::mpsc; #[tokio::main] async fn main() { // 채널 생성 (버퍼 크기: 32) let (tx, mut rx) = mpsc::channel(32); // 생산자 (Producer) tokio::spawn(async move { for i in 1....

산넘어 산..

레디스 레플리카를 등록하는 과정 중 replconf, psync를 처리하는 중 발생한 문제.

07장 트랜잭션 어떤 저자들은 2단계 커밋에서 유발되는 성능이나 가용성 문제 때문에 생기는 비용이 너무 커서 이를 지원할 수 없다고 주장했다. 우리는 항상 트랜잭션 없이 코딩하는 것보다 트랜잭션을 과용해서 병목지점이 생기는 성능 문제를 애플리케이션 프로그래머가 처리하는게 낫다고 생각한다. 냉혹한 현실 세계에서 데이터 시스템은 여러 가지 문제가 생길 수 있다. 데이터베이스 소프트웨어나 하드웨어는 언제라도 실패할 수 있다. 애플리케이션은 언제라도 죽을 수 있따. 네트워크가 끊기면 애플리케이션과 데이터베이스의 연결이 갑자기 끊기거나 데이터베이스 노드 사이의 통신이 안될 수 있다....

파티셔닝 데이터셋이 매우 크거나 질의 처리량이 매우 높다면 복제만으로는 부족하고, 데이터를 파티션으로 쪼갤 필요가 있다. 이 작업을 샤딩이라고 한다. 데이터를 파티셔닝 하는 주된 이유는 확장성이다. 파티셔닝과 복제 파티셔닝을 해도, 파티션 된 단위를 기준으로는 복제를 할 수 있다. 한 노드에 여러 파티션을 복제 할 수도 있어서, 노드 하나에 특정 파티션의 리더와 나머지 파티션의 복제를 가지는식으로 교차해 두기도 한다. 키-값 데이터 파티셔닝 파티셔닝의 목적은 데이터와 질의 부하를 분산시키는 것이다. 이것이 달성되지 않았을 때 쏠렸다(skewed) 라고 한다....

Rust-Redis-D4 Code 🥸 use crate::protocol_constants::{MAGIC_NUMBER, OPCODE_EOF, OPCODE_META, OPCODE_START_DB}; use crate::{Config, Db, ValueEntry}; use byteorder::{LittleEndian, ReadBytesExt}; use crc::{Crc, CRC_64_ECMA_182}; use std::fs::File; use std::io::{self, BufReader, Read, Seek, SeekFrom}; fn bytes_to_hex(bytes: &[u8]) -> String { bytes.iter().map(|b| format!("{:02X}", b)).collect::<Vec<String>>().join(" ") } fn read_length_or_integer<R: Read>(reader: &mut R, first_byte: u8) -> io::Result<usize> { match first_byte >> 6 { 0b00 => Ok((first_byte & 0x3F) as usize), 0b01 => { let second_byte = reader.read_u8()?; Ok((((first_byte & 0x3F) as usize) << 8) | (second_byte as usize)) } 0b10 => reader....