전체 글
-
Kafka Consumer Lag 모니터링, Burrow를 알아보자 (2)개발하면서/코드보면서 2019. 8. 21. 01:09
이전 포스트에서 Burrow의 기본 구조와 Consumer group list 관리가 어떻게 되고 있는지 알아보았습니다. 이번에는 Burrow의 모듈 중 storage, evaluator를 알아보겠습니다. storage는 Burrow에서 수집하는 데이터(Topic/Consumer 정보) 저장/조회 역할을 담당하고 있습니다. evaluator는 Consumer Offset/Lag을 지켜보면서 Consumer Group의 상태를 판단하는 역할을 합니다. Topic/Partition 상태를 판단해서 가장 안 좋은(?) 상태가 Consumer Group의 상태가 됩니다. storage storage는 카프카의 topic, offset, consumer offset 정보를 저장/조회 역할을 하는 모듈입니다. Bu..
-
Kafka Consumer Lag 모니터링, Burrow를 알아보자 (1)개발하면서/코드보면서 2019. 5. 28. 09:34
카프카 모니터링을 적용 하다보면 브로커는 JMX만으로 충분하지만 Producer나 Consumer는 까다롭습니다. https://docs.confluent.io/current/kafka/monitoring.html#server-metrics Monitoring Kafka — Confluent Platform Version 5.2.1 Docs Administer » Kafka Operations » Monitoring Kafka View page source Monitoring Kafka Apache Kafka® brokers and clients report many internal metrics. JMX is the default reporter, though you can add any pluggab..
-
벤쿠버 한달 지내기 6부(마지막)살아가면서/여행하면서 2019. 4. 28. 18:43
2018.2.23 눈이 많이 내려서 하루 종일 집에만 있었다. 채용정보도 알아보고 영어 학습 자료도 조사한 듯... 다음날, 아이스 크림을 먹으러 갔다. 벨라 젤라토 갈까도 생각했지만 아이스크림 먹고, 근처에 있는 R&B Brewing 가려고 ㅋㅋㅋ Earnest Ice Cream. 맛있다!! ;) 맥주 한잔 하고, 타코 먹고 잉글리시 베이 출발!! 한국에는 참새와 비둘기의 조합이라면, 벤쿠버는 비둘기와 거위(거위 맞나?) 조합이다!! 집에 돌아가는길에 고기 한점 사서 굽고, 캔맥이랑 스파게티랑 풍성하게 먹었다. 2018.2.27 여기서만 먹을수 있는 걸 찾다가 굉장한 걸 찾게 됐다. 이름하여, 리치몬드 스티브스톤 랍스터 피자!!!! 대중교통(전철과 버스)으로 1시간 30분, 기다리는 시간까지 하면 2시..
-
벤쿠버 한달 지내기 5부살아가면서/여행하면서 2019. 4. 27. 14:24
이날부터는 맥주 따라다닌 것 같다. 10시, 11시즈음 일어나서 구글맵에 "brewing", "ale", "beer" 검색해서 평점이나 사진을 보다가 괜찮아 보이는곳을 찾으면 바로 신발 고쳐 신고 고고 R&B Brewing을 갔는데 안주 추천을 받았는데 친절하게 설명해준다. 간단한 영어였지만 잘 말하고 잘 알아들은 내가 기특해서 한잔 더함 ㅋㅋㅋ IPA랑 흑맥주 두 잔 마셨다. 꿀맛!! 회식(?)으로 보이는 테이블이 있었는데 한국에서 보던 분위기와 비슷했다... 껄껄껄 한국에 돌아가면 뭘 할지 계획을 짜려고 종이와 펜을 가져갔는데 조금 쓰다가 술이 너무 맛있어서 낙서만 했던 걸로 기억한다.... 강을 따라 산책하다가 어느 카페에 들어가 멍 때리다가 집으로 복귀했다. 혼자 해보는건 처음이었는데 그것치곤 나..
-
Improving key expiration in Redis를 읽고개발하면서/타인글보면서 2019. 4. 21. 14:04
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2019/improving-key-expiration-in-redis.html Improving Key Expiration in Redis After updating to a new Redis version the Cache team saw a regression. This goes over the investigation and our conclusions. blog.twitter.com 얼마 전 Twitter 블로그에 Redis expire 기능을 개선했다는 글이 올라와 주말 동안 읽고 정리하고자 합니다. 블로그 요약(?)만 하려고 했는데 3.2 activeExpireCycle 함수에 ..
-
벤쿠버 한달 지내기 4부살아가면서/여행하면서 2019. 2. 18. 07:28
렌트 2일째어느 유명한 공원을 갔는데 지금 기억이 안 난다.... 지도로 잠깐 살펴보다가 아몰랑 모드 ㅋㅋ폐가 정화되는 느낌이 들 정도로 공기가 굉장히 신선했고 나무들 또한 아름다웠다. 너무나 고요하고 평화로웠다. 곰 조심 하라는 주의 표지판을 보기전까진...ㅋㅋㅋㅋ 집안의 특정 구역이 생각나는 색깔의 물, 깊은것도 아닌데 굉장히 푸르둥둥했다. 다리 위에 있는 사람들의 걸음걸이가 온전히 느껴질 정도로 굉장한 스릴을 줬던 흔들 다리 위에서... 이름은 기억 안 나는데 커피랑 잘 어울리는 디저트(?)도 먹었다. 렌트 3일째 휘슬러 고고~ 운전하면서 보이는 풍경이 너무 멋있었다. 동화에 나올법한...그냥 지나치기엔 아까워서 차를 세우고 찰칵!! 같이 간 형은 먼저 한국으로 돌아갔다. 이후부터 혼자 15일 지내..