분류 전체보기
-
Uber에서 Kafka를 MSA 큐로 사용하기 위해 고려한 것들개발하면서/타인글보면서 2021. 9. 19. 16:47
Kafka를 ETL이 아니라 서비스에 적용했다는 사례가 종종 들린다. 마지막 commit 이후 처리가 완료된 message가 연속적으로 있을 때 offset commit 돼야 하고 exactly-once, 그리고 consumer group 중 한 개 consumer만 재시작돼도 rebalance가 일어나면서 처리가 멈춰서 개인적으로 서비스에 Kafka를 도입에 부정적이다. 차라리 RabbitMQ처럼 온전히 Queue 목적으로 만들어진 제품을 쓰는 게 여러모로 좋다고 생각했다. 이런 나를 비웃듯이 우버에서 Kafka를 서비스에 어떻게 적용하는지 소개했다. 크흐~~~ https://eng.uber.com/kafka-async-queuing-with-consumer-proxy/ 결론부터 말하면 Kafka Co..
-
Elasticsearch의 개념 살펴보기..(2)아래에서 위로개발하면서/타인글보면서 2021. 8. 30. 08:59
이전 포스트에선 Elasticsearch 개념을 사용하는 측면으로 알아보았다. https://dol9.tistory.com/294 이번에는 반대로 Elasticsearch의 주 기능인 검색을 담당하는 Lucene 그리고 이를 관리하기 위한 Elasticsearch의 기능들을 알아본다. 바닥(?)을 알게 되면 Elasticsearch API들을 이해할 때나 문제 해결 시 도움이 될 것이다. 물론 모든 바닥을 알기에는 우리의 시간은 유한하니 나한테 필요한지 아닌지 고민하자 시작하자. https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up 역색인(Inverted Index) 검색엔진을 처음 배우면 듣는 자료구조다. 바로바로 역색인 입력한 문서에서..
-
Elasticsearch의 개념 살펴보기..(1)위에서 아래로개발하면서/타인글보면서 2021. 8. 21. 13:41
내 기준으로 Elasticsearch을 간단하게 운영하고 사용은 할 수 있지만 조금 복잡한 쿼리 작성이 필요할 때 바로 작성을 못하거나 예상치 못한 오류(Circuit breaker!!)를 보는 경우가 있어 필요한 부분을 하나하나 알아보려고 한다. 사실 가장 큰 이유는 그냥 궁금해서다. ㅎㅎ Elasticsearch에는 어떠한 기능들이 있고 역할이 무엇이며 왜 필요한지 알아가는 과정이 재밌을 것 같다. 알아가는 과정 중간중간 나의 업무나 삶에 적용하는 것도 재밌다. 먼저 Elasticsearch 사용자 입장에서 색인과 검색이 어떻게 이루어지는지 살펴본다. 위에서 아래로 https://www.elastic.co/blog/found-elasticsearch-top-down 2014년 글이지만 개념에 대한 설..
-
쉽게 생각 정리해주는 도구..WorkFlowy살아가면서/생각하면서 2021. 4. 3. 22:27
생각 정리 도구라고 하면 먼저 떠오르는게 "마인드 맵"이라는 단어다. 머릿속에 흩어져있는 생각들을 무작위로 적어놓은 뒤 그룹핑을 하다보면 생각이 정리 된다는건데 내 기억으로 예전에 마인드 맵이 한창 유행일때가 있었다. 관련 책도 많이 나오고 깔끔하고 이쁜 마인드 맵 프로그램이 범람하여 마인드 맵 프로그램을 고르기 위한 기준을 마인드 맵을 그려야하는...ㅋㅋㅋ 괜찮아 보이는 프로그램 두개 정도 설치해서 쓰다가 꾸준히 사용하지 않아 프로그램 바로 삭제 하였다. 마인드 맵에 대해 잊고 있다가 알게된 WorkFlowy. 이름에서 느껴지듯이 물 흐르듯이 작업(업무, 생각, 계획)들을 구성 할수 있도록 도와준다. 기능이 단순하면서도 생각 정리하는데 부족함이 없고 키보드 만으로 충분히 사용 가능하다는 점에서 꾸준히 ..
-
하루를 온전히 자신의 것으로 만들기 - 메이크 타임살아가면서/책읽으면서 2021. 3. 29. 22:50
어떤 일을 하다가 무의식으로 Facebook, Twitter, Youtube에 접속해 10~20분을 소비한 경험이나 오늘 하루 바쁘게 살았지만 하루를 돌이켜보면 '오늘 하루 뭐했지?'라는 생각이 든 적이 꽤 있다면 읽으면 도움이 될 것 같다. 나는 꽤 오래전부터 고민이 들어 나름 이것저것 해보고 있었는데 관련 책이 있다고 해서 읽어보았다. 이 책은 하루를 온전히 자신의 것으로 만들기 위한 방법들을 소개하고 있다. 우리의 삶은 왜 이리 바쁘고 혼란스러워 졌나? 21세기에 쉽게 본인의 시간을 뺏는 두 가지가 있는데 비지밴드 웨건(다른 사람들이 바쁘니 나도 따라서 바쁘게 지내는 현상)과 인피니트 풀(끝없이 새로운 내용들이 올라오는 정보 매체)이 있다. 비지밴드 웨건은 앞에 놓인 일에 즉각적으로 반응해야 하고,..
-
xstream + spring dev-tools 썼더니 문제가 발생했다.개발하면서/코드보면서 2021. 3. 27. 14:42
개인 프로젝트에서 이것저것 수정하다 보니 XStream 사용하는 부분에 오류가 발생했다. 한꺼번에 많은 수정을 한 게 가장 큰 실수였고 문제의 원인을 gradle 설정이나 XStream 설정이 잘못된 줄 알고 엄한 곳에서 삽질했다. 하지만 결국엔 찾지 못해 원복 했다.... JUnit Test 실행할 때는 정상 동작하는데 Application 실행하면 발생했다. 일주일 정도 지났나? 다시 시도하였다. 이번에는 한 개 수정 -> 실행 -> 어 되네? 의 반복으로 진행했고 (당연히 그래야 하는데...ㅎ;;) spring-devtools 추가했을 때 오류가 나는 것을 발견하였다. 그래서 해결은 어떻게 했나? stackoverflow.com/questions/59176413/error-using-xstream-..
-
IntelliJ shortcut 알아보기개발하면서/etc 2021. 3. 1. 18:25
개발을 업무로 하면서 가장 많이 보는 건 아무래도 Jetbrains 도구가 아닐까 싶다. 프로그래밍 언어는 바꿀순 있어도, Jetbrains 도구 없이 개발하는 건... 상상도 안됨 어후;; 물론 지금도 기본적인 단축키는 사용하지만 내 손가락을 좀 더 아끼기 위해 단축키를 알아보기 시작했다. 머릿속에 있는것을 손가락이 따라가지 못해 답답한 상황은 없었지만, (내 머리는 손가락을 배려하는 듯하다) 제공하는 기능을 이용해서 휴먼에러를 최소화하고 다양한 기능 구현과 테스트들을 하는데 목적을 두었다. 이쯤에서 명언 한 마디 If I only had an hour to chop down a tree, I would spend the first 45 minutes sharpening my axe. (링컨) 참고한 ..
-
Naver Deview 2020 시청 및 정리개발하면서/타인글보면서 2021. 1. 11. 09:42
Deview 2020에서 개인적으로 흥미가 있는 영상들을 보고 정리했다.. 발표에서 어떤 방법으로 얼마큼의 이득을 얻었는지 얘기한 것도 좋았지만 과거에 갖고 있던 문제들을 설명하고 대안들을 나열하며 여러 대안들 중 현재 상황에서 균형 잡힌 선택을 하는 일련의 과정들이 재밌고 고마웠다. 문제를 해결하는 것의 다음 단계는 문제를 정의하고 해결하는 거라고 회사 어느 분이 얘기해준 게 갑자기 생각나네... 허허허 손쉽게 ML 라이프사이클을 다룰 수 있는 MLOps https://tv.naver.com/v/16970565 . AI 연구자와 엔지니어의 관점 차이와 모델 표준화의 장점 Saved Model(TF), ONNX(Pytorch) . Model Registry 모델의 부가정보(meta)를 저장, 모델 파일은..