분류 전체보기
-
ES hot-warm, Rollout, Shrink 알아보기개발하면서/영어하면서 2019. 10. 27. 00:52
회사에서 ES도 다루고 있는데 초반에는 별다른 관리 없이도 문제가 없었는데 인입되는 양이 점점 많아지면서 인덱스 관리가 필요했고, 그때 알아본 키워드가 hot-warm architecture, rollover, shrink 였습니다. 급한 불을 끈 후 위 링크는 에버노트 깊은 곳에 저장하고 있다가... 올해 더 많은 데이터 인입이 계획 되어있어서, 아... 학습 좀 하고 적용해야겠다는 생각에 리서치를 시작했습니다. ES 공식 블로그 문서를 읽고 직역 비스므리한 정리를 하였습니다. ES 공식 블로그 - Hot Warm Architecture https://www.elastic.co/kr/blog/hot-warm-architecture-in-elasticsearch-5-x?fbclid=IwAR0gajLECY..
-
Kafka 스키마 관리, Schema Registry개발하면서/코드보면서 2019. 8. 26. 00:56
Why? Apache Kafka® is a distributed streaming platform. Apache Kafka 페이지에 들어가면 볼드체로 가장 먼저 보이는 문장입니다. 카프카는 메시지 브로커 역할을 굉장히 잘해주는데요 , 주고받는 메시지의 유효성 검사(?)는 하지 않습니다. 보내면 받은 대로 저장하고 달라면 저장된 데이터를 주는 역할만 하죠. Consumer 입장에서는 받은 메시지가 어떤 내용인지 알아야 파싱 하고 적절한 로직을 실행할 텐데 Kafka는 이를 보장하지 않으니 Producer, Consumer 개발하는 쪽에서 서로 약속하고 메시지를 주고받아야 합니다. 그래서 csv, xml, json 같은 데이터 포맷을 적용해서 메시지를 주고받습니다. 하지만 이것도 불안한 점이 있습니다. Pr..
-
Kafka Consumer Lag 모니터링, Burrow를 알아보자 (2)개발하면서/코드보면서 2019. 8. 21. 01:09
이전 포스트에서 Burrow의 기본 구조와 Consumer group list 관리가 어떻게 되고 있는지 알아보았습니다. 이번에는 Burrow의 모듈 중 storage, evaluator를 알아보겠습니다. storage는 Burrow에서 수집하는 데이터(Topic/Consumer 정보) 저장/조회 역할을 담당하고 있습니다. evaluator는 Consumer Offset/Lag을 지켜보면서 Consumer Group의 상태를 판단하는 역할을 합니다. Topic/Partition 상태를 판단해서 가장 안 좋은(?) 상태가 Consumer Group의 상태가 됩니다. storage storage는 카프카의 topic, offset, consumer offset 정보를 저장/조회 역할을 하는 모듈입니다. Bu..
-
Kafka Consumer Lag 모니터링, Burrow를 알아보자 (1)개발하면서/코드보면서 2019. 5. 28. 09:34
카프카 모니터링을 적용 하다보면 브로커는 JMX만으로 충분하지만 Producer나 Consumer는 까다롭습니다. https://docs.confluent.io/current/kafka/monitoring.html#server-metrics Monitoring Kafka — Confluent Platform Version 5.2.1 Docs Administer » Kafka Operations » Monitoring Kafka View page source Monitoring Kafka Apache Kafka® brokers and clients report many internal metrics. JMX is the default reporter, though you can add any pluggab..
-
벤쿠버 한달 지내기 6부(마지막)살아가면서/여행하면서 2019. 4. 28. 18:43
2018.2.23 눈이 많이 내려서 하루 종일 집에만 있었다. 채용정보도 알아보고 영어 학습 자료도 조사한 듯... 다음날, 아이스 크림을 먹으러 갔다. 벨라 젤라토 갈까도 생각했지만 아이스크림 먹고, 근처에 있는 R&B Brewing 가려고 ㅋㅋㅋ Earnest Ice Cream. 맛있다!! ;) 맥주 한잔 하고, 타코 먹고 잉글리시 베이 출발!! 한국에는 참새와 비둘기의 조합이라면, 벤쿠버는 비둘기와 거위(거위 맞나?) 조합이다!! 집에 돌아가는길에 고기 한점 사서 굽고, 캔맥이랑 스파게티랑 풍성하게 먹었다. 2018.2.27 여기서만 먹을수 있는 걸 찾다가 굉장한 걸 찾게 됐다. 이름하여, 리치몬드 스티브스톤 랍스터 피자!!!! 대중교통(전철과 버스)으로 1시간 30분, 기다리는 시간까지 하면 2시..
-
벤쿠버 한달 지내기 5부살아가면서/여행하면서 2019. 4. 27. 14:24
이날부터는 맥주 따라다닌 것 같다. 10시, 11시즈음 일어나서 구글맵에 "brewing", "ale", "beer" 검색해서 평점이나 사진을 보다가 괜찮아 보이는곳을 찾으면 바로 신발 고쳐 신고 고고 R&B Brewing을 갔는데 안주 추천을 받았는데 친절하게 설명해준다. 간단한 영어였지만 잘 말하고 잘 알아들은 내가 기특해서 한잔 더함 ㅋㅋㅋ IPA랑 흑맥주 두 잔 마셨다. 꿀맛!! 회식(?)으로 보이는 테이블이 있었는데 한국에서 보던 분위기와 비슷했다... 껄껄껄 한국에 돌아가면 뭘 할지 계획을 짜려고 종이와 펜을 가져갔는데 조금 쓰다가 술이 너무 맛있어서 낙서만 했던 걸로 기억한다.... 강을 따라 산책하다가 어느 카페에 들어가 멍 때리다가 집으로 복귀했다. 혼자 해보는건 처음이었는데 그것치곤 나..
-
Improving key expiration in Redis를 읽고개발하면서/영어하면서 2019. 4. 21. 14:04
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2019/improving-key-expiration-in-redis.html Improving Key Expiration in Redis After updating to a new Redis version the Cache team saw a regression. This goes over the investigation and our conclusions. blog.twitter.com 얼마 전 Twitter 블로그에 Redis expire 기능을 개선했다는 글이 올라와 주말 동안 읽고 정리하고자 합니다. 블로그 요약(?)만 하려고 했는데 3.2 activeExpireCycle 함수에 ..
-
벤쿠버 한달 지내기 4부살아가면서/여행하면서 2019. 2. 18. 07:28
렌트 2일째어느 유명한 공원을 갔는데 지금 기억이 안 난다.... 지도로 잠깐 살펴보다가 아몰랑 모드 ㅋㅋ폐가 정화되는 느낌이 들 정도로 공기가 굉장히 신선했고 나무들 또한 아름다웠다. 너무나 고요하고 평화로웠다. 곰 조심 하라는 주의 표지판을 보기전까진...ㅋㅋㅋㅋ 집안의 특정 구역이 생각나는 색깔의 물, 깊은것도 아닌데 굉장히 푸르둥둥했다. 다리 위에 있는 사람들의 걸음걸이가 온전히 느껴질 정도로 굉장한 스릴을 줬던 흔들 다리 위에서... 이름은 기억 안 나는데 커피랑 잘 어울리는 디저트(?)도 먹었다. 렌트 3일째 휘슬러 고고~ 운전하면서 보이는 풍경이 너무 멋있었다. 동화에 나올법한...그냥 지나치기엔 아까워서 차를 세우고 찰칵!! 같이 간 형은 먼저 한국으로 돌아갔다. 이후부터 혼자 15일 지내..