조급하지말고 천천히 조급하지말고 천천히

개발하면서/타인글보면서

• Docker Desktop 유료화 정책 변경으로 대안 찾아보기

  개발하면서/타인글보면서 2022. 2. 6. 20:23

  작년 8월에 Docker Desktop 구독 모델이 변경이 된다는 글이 올라왔다. https://www.docker.com/blog/updating-product-subscriptions/ 기존 Docker Free는 이름만 Docker Personal로 되고 무료로 사용할 수 있는데 다만 아래 조건에 해당될 때만 Docker Personal을 사용할 수 있다. . 250명 이하 이고 $10M 이하 연매출인 기업 . 개인적으로 사용(학습, 비상업용의 오픈소스) 즉 어느 정도 성장한 기업은 Docker Desktop 유료 구독하라는 얘기이다. 유료 구독에서는 보안과 권한 제어 그리고 Docker hub의 풍부한 CI/CD 기능을 사용할 수 있다. 오픈소스가 개발 생태계를 풍요롭게 만들고 개발 환경에도 도움..

  Read More
• Uber에서 Kafka consumer 모니터링 하는 방법

  개발하면서/타인글보면서 2021. 10. 25. 22:46

  "Kafka consumer monitoring"하면 어떤 게 떠오르나요? __consumer_offsets 토픽, lag, autocommit, consumer rebalance, Burrow ※ Burrow에 정리한 dol9 글 https://dol9.tistory.com/272 https://dol9.tistory.com/273 현재 우버는 대부분의 서비스에서 Kafka를 사용 중인데 Kafka consumer 모니터링을 위해 자체 개발한 얘기가 소개된게 있어 정리해보았습니다. ※ 규모의 경제로 여차하면 자체 개발하는 것 같다. -_-;; 자체 개발 -> 오픈 소스 -> 기술 회사 창업? ㅋㅋㅋ 그리고 정리하다보니 __consumer_offsets 토픽 데이터뿐만 아니라 어떠한 이유로 내려간 con..

  Read More
• Uber에서 Kafka를 MSA 큐로 사용하기 위해 고려한 것들

  개발하면서/타인글보면서 2021. 9. 19. 16:47

  Kafka를 ETL이 아니라 서비스에 적용했다는 사례가 종종 들린다. 마지막 commit 이후 처리가 완료된 message가 연속적으로 있을 때 offset commit 돼야 하고 exactly-once, 그리고 consumer group 중 한 개 consumer만 재시작돼도 rebalance가 일어나면서 처리가 멈춰서 개인적으로 서비스에 Kafka를 도입에 부정적이다. 차라리 RabbitMQ처럼 온전히 Queue 목적으로 만들어진 제품을 쓰는 게 여러모로 좋다고 생각했다. 이런 나를 비웃듯이 우버에서 Kafka를 서비스에 어떻게 적용하는지 소개했다. 크흐~~~ https://eng.uber.com/kafka-async-queuing-with-consumer-proxy/ 결론부터 말하면 Kafka Co..

  Read More
• Elasticsearch의 개념 살펴보기..(2)아래에서 위로

  개발하면서/타인글보면서 2021. 8. 30. 08:59

  이전 포스트에선 Elasticsearch 개념을 사용하는 측면으로 알아보았다. https://dol9.tistory.com/294 이번에는 반대로 Elasticsearch의 주 기능인 검색을 담당하는 Lucene 그리고 이를 관리하기 위한 Elasticsearch의 기능들을 알아본다. 바닥(?)을 알게 되면 Elasticsearch API들을 이해할 때나 문제 해결 시 도움이 될 것이다. 물론 모든 바닥을 알기에는 우리의 시간은 유한하니 나한테 필요한지 아닌지 고민하자 시작하자. https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up 역색인(Inverted Index) 검색엔진을 처음 배우면 듣는 자료구조다. 바로바로 역색인 입력한 문서에서..

  Read More
• Elasticsearch의 개념 살펴보기..(1)위에서 아래로

  개발하면서/타인글보면서 2021. 8. 21. 13:41

  내 기준으로 Elasticsearch을 간단하게 운영하고 사용은 할 수 있지만 조금 복잡한 쿼리 작성이 필요할 때 바로 작성을 못하거나 예상치 못한 오류(Circuit breaker!!)를 보는 경우가 있어 필요한 부분을 하나하나 알아보려고 한다. 사실 가장 큰 이유는 그냥 궁금해서다. ㅎㅎ Elasticsearch에는 어떠한 기능들이 있고 역할이 무엇이며 왜 필요한지 알아가는 과정이 재밌을 것 같다. 알아가는 과정 중간중간 나의 업무나 삶에 적용하는 것도 재밌다. 먼저 Elasticsearch 사용자 입장에서 색인과 검색이 어떻게 이루어지는지 살펴본다. 위에서 아래로 https://www.elastic.co/blog/found-elasticsearch-top-down 2014년 글이지만 개념에 대한 설..

  Read More
• Naver Deview 2020 시청 및 정리

  개발하면서/타인글보면서 2021. 1. 11. 09:42

  Deview 2020에서 개인적으로 흥미가 있는 영상들을 보고 정리했다.. 발표에서 어떤 방법으로 얼마큼의 이득을 얻었는지 얘기한 것도 좋았지만 과거에 갖고 있던 문제들을 설명하고 대안들을 나열하며 여러 대안들 중 현재 상황에서 균형 잡힌 선택을 하는 일련의 과정들이 재밌고 고마웠다. 문제를 해결하는 것의 다음 단계는 문제를 정의하고 해결하는 거라고 회사 어느 분이 얘기해준 게 갑자기 생각나네... 허허허 손쉽게 ML 라이프사이클을 다룰 수 있는 MLOps https://tv.naver.com/v/16970565 . AI 연구자와 엔지니어의 관점 차이와 모델 표준화의 장점 Saved Model(TF), ONNX(Pytorch) . Model Registry 모델의 부가정보(meta)를 저장, 모델 파일은..

  Read More
• if(kakao)2020 보고 요약 및 생각들

  개발하면서/타인글보면서 2020. 12. 21. 00:06

  봐야지 봐야지... 마음만 먹고 있다가 이번 주에 몰아서 if(kakao) 2020을 봤다. 개발 관련 세션뿐만 아니라 비즈니스, 서비스, VLOG, 인터뷰 등 다양한 내용들이 있는 게 좋았고, 온라인으로만 진행해서 그런지 몰라도 세션 네비게이션(?) 할 때 쉽게 파악 할 수 있어서 좋았다. 다른 사람들의 경험과 생각들을 보고 내 것으로 곱씹어보는 이런 시간이 생각의 폭도 넓히고 고정된 생각이 있다면 말랑하게 해준다. 요새 입력한 정보의 양에 집중하지 말고 내가 이걸 어떻게 소화할지와 그 소화된 것을 output(글이나 실제 코드 또는 실제 생활의 행동)까지의 한 바퀴를 경험하는 것에 집중하고 있다. (쉽지 않다 ㅋㅋㅋㅋ, 그래도 이 생각은 잊지 말고 꾸준히 상기하자) 시간 되면 if(kakao)dev ..

  Read More
• Kafka purgatory (1)

  개발하면서/타인글보면서 2020. 6. 29. 00:18

  4. 그래서 Kafka에서는 어떻게 사용되고 있냐? DelayedOperation으로 검색하면 다양한 곳에서 사용하는데(Group Coordinator, Replica Manager, ZkAdminManager 등...) 여기서는 Replica Manager 기준으로 알아본다. broker가 가동되면 Replica manager가 한 개씩 생성되고 Replica Manager에는 역할 별 Purgatory가 존재한다. 이때 Partition을 생성하면 ReplicaManager의 Purgatory를 주입해서 아래 그림의 왼쪽은 파티션을 생성할 때 replicaManager의 Purgatory를 delayedOperations로 만들어 주입하는 코드고 오른쪽은 도식화 한것이다. 아래 그림은 xxxPurga..

  Read More