분류 전체보기
-
Kafka purgatory개발하면서/타인글보면서 2020. 6. 20. 19:31
업무 중에 request를 보내면 X초 이후에 실행되는 scheduling repository를 살펴보다가 Kafka purgatory는 어떻게 구현했을지 호기심이 생겨 알아보았다. Confluent 블로그와 hierarchical timing wheels 논문을 쉽게 소개한 블로그, 두 개를 보며 나름대로 정리했다. https://www.confluent.io/blog/apache-kafka-purgatory-hierarchical-timing-wheels/ 1. Purgatory란 무엇이고 Kafka 어디에 사용되나? 네이버 사전에 Purgatory를 검색하면 연옥이라고 나오고 의미는 아래와 같다. 가톨릭 교리에서 연옥은 천국으로 가기에는 자격이 부족하지만 지옥으로 갈 정도의 큰 죄를 짓지 않은 죽은..
-
2019 회고살아가면서/생각하면서 2020. 1. 30. 23:43
벌써 2020년이 한 달이 지났다 작년 한 해 나는 어떻게 살았는지 정리도 하면서 그때의 감정들을 복기하려고 한다. 그리고 올 한 해는 어떻게 살지 생각해보는 시간도 정리해서 틈틈이 보면서 마음을 다잡자!! 투자 2019년이 되고 새해 다짐을 정리해보니 지금처럼 월급만 모으다가는 10년 뒤에 내 모습이 너무나 뻔히 보였다. 연초부터 나름 책과 인터넷으로 내게 맞는 투자는 어떤 게 있나... 알아보다가 부동산으로 정하고 관련 공부를 하고 있었다. (사실 부동산 연습이 필요하다며 2018년부터 깝죽 되면서 P2P 부동산 했는데... 정상 4건, 연체 11건이다. 만기일 1년 넘은 듯;; 지금은 예치금 다 빼고 연체 진행상황 살펴보는 중이다.) 동료의 초대로 6월에 어떠한 행사에 참석하였다. 사실 주말이기도 ..
-
2020 제주도 여행 (2)살아가면서/여행하면서 2020. 1. 26. 17:14
1월 4일 개인 일정 중 2박을 작년 중순인가? 제주도로 이사 온 대학 동기 집에 신세 지기로 했다. 회사 크루들과 작별인사 한 후 렌트해서 바로 동기 집으로 출발~!! 방에 들어가니 정말 Airbnb 처럼 인사말도 써주고 조명도 있어서 분위기도 있었다. 침구류도 너무너무 좋았다. 크흐~~~~ 짐 풀고 고등어회와 방어회를 안주로 술 고고, 김, 고등어 회랑 밥 조금, 그리고 간단하게 양념해서 먹으면 술안주로 끝내준다....(응??) 제주도 사는 얘기도 하고 옛날 얘기도 하니 새벽 2신가 3시에 잔 것 같다. 2020년 1월 1일 일출을 보지 "않"아 제주도 온 김에 일출 보고 싶다고 하니 기가 막힌 오름을 안다고 해서 기상 시간 정하고 잠자리에 들었다. 1월 5일 (아....왜 해는 보고 싶다고 해가지고..
-
2020 제주도 여행 (1)살아가면서/여행하면서 2020. 1. 26. 14:35
2020 신입 공채 워크샵을 제주도에서 2박 3일 하게 되었는데 운이 좋게 (그리고 동료의 추천으로) 나도 같이 가게 되었다. 간 김에 좀 더 쉬고 오자 하는 생각에 연차 2일을 붙여서 1.2~1.7까지의 제주도 여행을 다녀왔다. 의지가 약해서 지금 정리하는데 사진을 보니 다시금 그때의 감정이 올라와서 마지막 날을 훈훈하게 마무리한다. 1월 2일 오후 3시에 회사에서 신입 공채를 처음 만났다. 다들 의욕에 불타는 눈빛과 서먹서먹한 분위기에 김포공항 행 버스를 탔다. 출발 시간보다 1시간 일찍 도착해서 대기 시간이 있었는데 아무 말 대잔치가 열렸다. ㅋㅋㅋ 도착하니 오후 7시가 넘어서 어둑어둑했다. 점심도 굶고 중간에 먹은 건 초콜릿 하나뿐이라 겁나 배고픈 상태에서 제주 첫 끼니는 한치 주물럭. 배고픈 것..
-
Kafka의 Sticky Partitioner 살펴보기개발하면서/타인글보면서 2020. 1. 18. 13:55
Kafka Broker(server)에 메시지를 주고받는 client 역할을 하는 Kafka Producer / Consumer 중 Producer의 성능 개선 기능이 있어 살펴보려고 한다. ref url: KIP-480, Apache Kafka Producer improvements Sticky Partitioner[Confluent Blog] Kafka Producer의 메시지 전송 방법 두 부분으로 나뉘어 있다. 사용자 코드에서 send()를 실행하면 토픽, 파티션별 record를 모아 놓는(record batch) Accumulator Accumulator에 쌓인 record batch를 가져와서 Kafka Broker에 전송하는 작업을 쉼 없이 하는 Network thread [2.4 코드를 보..
-
Elasticsearch shard 할당 방식을 정리해보자개발하면서/타인글보면서 2019. 11. 27. 21:13
최근 사내에서 사용하고 있는 Elasticsearch를 별다른 설정 없이 쓰다 보니 종종 인덱스/샤드 관련 문제가 생겨서 shard allocation 관련 학습 필요성이 생겼다. Elasticsearch Shard allocation 공식 문서와 AWS의 shard allocation 문서를 읽고 나름 직역했다. https://www.elastic.co/guide/en/elasticsearch/reference/7.2/modules-cluster.html master 노드의 주 역할은 인덱스의 샤드를 데이터 노드에 (고르게) 분배하고 균형을 위해 샤드를 재분배하는것입니다. 샤드 할당하는 4가지 방법과 꿀팁을 소개합니다. 여기서 소개하는 설정 값은 cluster update settings에 나온 방법으..