분류 전체보기
-
Kafka Consumer Lag 모니터링, Burrow를 알아보자 (1)개발하면서/코드보면서 2019.05.28 09:34
카프카 모니터링을 적용 하다보면 브로커는 JMX만으로 충분하지만 Producer나 Consumer는 까다롭습니다. https://docs.confluent.io/current/kafka/monitoring.html#server-metrics Monitoring Kafka — Confluent Platform Version 5.2.1 Docs Administer » Kafka Operations » Monitoring Kafka View page source Monitoring Kafka Apache Kafka® brokers and clients report many internal metrics. JMX is the default reporter, though you can add any pluggab..
-
벤쿠버 한달 지내기 6부(마지막)살아가면서/여행하면서 2019.04.28 18:43
2018.2.23 눈이 많이 내려서 하루 종일 집에만 있었다. 채용정보도 알아보고 영어 학습 자료도 조사한 듯... 다음날, 아이스 크림을 먹으러 갔다. 벨라 젤라토 갈까도 생각했지만 아이스크림 먹고, 근처에 있는 R&B Brewing 가려고 ㅋㅋㅋ Earnest Ice Cream. 맛있다!! ;) 맥주 한잔 하고, 타코 먹고 잉글리시 베이 출발!! 한국에는 참새와 비둘기의 조합이라면, 벤쿠버는 비둘기와 거위(거위 맞나?) 조합이다!! 집에 돌아가는길에 고기 한점 사서 굽고, 캔맥이랑 스파게티랑 풍성하게 먹었다. 2018.2.27 여기서만 먹을수 있는 걸 찾다가 굉장한 걸 찾게 됐다. 이름하여, 리치몬드 스티브스톤 랍스터 피자!!!! 대중교통(전철과 버스)으로 1시간 30분, 기다리는 시간까지 하면 2시..
-
벤쿠버 한달 지내기 5부살아가면서/여행하면서 2019.04.27 14:24
이날부터는 맥주 따라다닌 것 같다. 10시, 11시즈음 일어나서 구글맵에 "brewing", "ale", "beer" 검색해서 평점이나 사진을 보다가 괜찮아 보이는곳을 찾으면 바로 신발 고쳐 신고 고고 R&B Brewing을 갔는데 안주 추천을 받았는데 친절하게 설명해준다. 간단한 영어였지만 잘 말하고 잘 알아들은 내가 기특해서 한잔 더함 ㅋㅋㅋ IPA랑 흑맥주 두 잔 마셨다. 꿀맛!! 회식(?)으로 보이는 테이블이 있었는데 한국에서 보던 분위기와 비슷했다... 껄껄껄 한국에 돌아가면 뭘 할지 계획을 짜려고 종이와 펜을 가져갔는데 조금 쓰다가 술이 너무 맛있어서 낙서만 했던 걸로 기억한다.... 강을 따라 산책하다가 어느 카페에 들어가 멍 때리다가 집으로 복귀했다. 혼자 해보는건 처음이었는데 그것치곤 나..
-
Improving key expiration in Redis를 읽고개발하면서/영어하면서 2019.04.21 14:04
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2019/improving-key-expiration-in-redis.html Improving Key Expiration in Redis After updating to a new Redis version the Cache team saw a regression. This goes over the investigation and our conclusions. blog.twitter.com 얼마 전 Twitter 블로그에 Redis expire 기능을 개선했다는 글이 올라와 주말 동안 읽고 정리하고자 합니다. 블로그 요약(?)만 하려고 했는데 3.2 activeExpireCycle 함수에 ..
-
벤쿠버 한달 지내기 4부살아가면서/여행하면서 2019.02.18 07:28
렌트 2일째어느 유명한 공원을 갔는데 지금 기억이 안 난다.... 지도로 잠깐 살펴보다가 아몰랑 모드 ㅋㅋ폐가 정화되는 느낌이 들 정도로 공기가 굉장히 신선했고 나무들 또한 아름다웠다. 너무나 고요하고 평화로웠다. 곰 조심 하라는 주의 표지판을 보기전까진...ㅋㅋㅋㅋ 집안의 특정 구역이 생각나는 색깔의 물, 깊은것도 아닌데 굉장히 푸르둥둥했다. 다리 위에 있는 사람들의 걸음걸이가 온전히 느껴질 정도로 굉장한 스릴을 줬던 흔들 다리 위에서... 이름은 기억 안 나는데 커피랑 잘 어울리는 디저트(?)도 먹었다. 렌트 3일째 휘슬러 고고~ 운전하면서 보이는 풍경이 너무 멋있었다. 동화에 나올법한...그냥 지나치기엔 아까워서 차를 세우고 찰칵!! 같이 간 형은 먼저 한국으로 돌아갔다. 이후부터 혼자 15일 지내..
-
벤쿠버 한달 지내기 3부살아가면서/여행하면서 2019.02.11 08:30
이번 설에 빈둥대다가 갑자기 '아!! 작년 설은 벤쿠버에서 지냈는데...'라는 생각이 들었다. 아직도 마무리하지 못한 나의 추진력에 박수를.... ;;; 1년이 지난 지금 쓰고 보니 그때의 결심을 다시 상기하는 효과도 있네...ㅎㅎ 막상 작년을 생각하면 거진 기억이 나지 않는데 사진을 보니 그때 먹었던 음식의 맛과 감정들이 새록새록 떠올랐다. 맛있는 음식, 아름다운 풍경, 반복으로 들었던 음악, 그리고 사진 요런 게 추억이고 행복 아닌가 싶다. 버스를 타고 쿠퍼스 공원을 갔다. (혼자 있을때는 도보로 자주 갔다. 마~ 내가 벤쿠버 뚜벅이다!!)두 가족이 간단한 먹거리를 가지고 요트 타는 모습을 봤는데 굉~~~~~~장히 부러웠다. 커피 한잔 하면서 이런저런 얘기하다가 유료 수목원으로 고고!!! 이름이 기억..
-
Parquet 파일 잘 써보기개발하면서/영어하면서 2018.12.02 17:36
https://www.dremio.com/tuning-parquet Dremio is the Data-as-a-Service Platform. Get more value from your data, faster. Dremio makes your data engineers more productive, and your data consumers more self-sufficient. www.dremio.com Parquet 파일 하나는 1개 이상의 Row group이 있고 Row group은 Column 별로 저장되어있다. Row group 크기를 크게 하면 Column 데이터가 연속적으로 저장이 되는 부분이 커져 연산 속도나 압축 효율이 좋아진다. 하지만 Disk block 크기까지 고려한다면…. A: ..
-
벤쿠버 한달 지내기 2부살아가면서/여행하면서 2018.10.20 22:27
다음 날은 오후 2시에 집을 나섰다. 캐나다 플레이스 가는길에 개스타운에 들려서 커피 홀짝홀짝 마시며 증기를 이용한 신명나는 음악을 들었다. 기대가 컸던걸까....'이게 끝이야?' 라는 생각이 들었다. 하지만 시계탑을 주변으로 괜찮은 가게들이 있는것을 보고 나도 시계탑 같은 사람이 되야지..라는 개똥같은 생각을 해봤다. 밴쿠버에 있는 한달 동안 참 많이 갔던 캐나다 플레이스, 바다와 (강인가?;;) 산, 구름 그리고 그 사이에 있는 집들이 평화로워 보인다. 집으로 가는길에 랍슨 거리에 있는 한인 식당에서 순두부 찌개와 LA 갈비를 먹었다. 다음날 원데이 패스를 끊고 그랜빌 섬을 갔다. 이날도 비가 내려 아쉽게도 멋진 풍경은 보진 못했지만 한산해서 좋았다. public market 돌아다녔는데 신기한 음식..