분류 전체보기
-
Docker Desktop 유료화 정책 변경으로 대안 찾아보기개발하면서/타인글보면서 2022. 2. 6. 20:23
작년 8월에 Docker Desktop 구독 모델이 변경이 된다는 글이 올라왔다. https://www.docker.com/blog/updating-product-subscriptions/ 기존 Docker Free는 이름만 Docker Personal로 되고 무료로 사용할 수 있는데 다만 아래 조건에 해당될 때만 Docker Personal을 사용할 수 있다. . 250명 이하 이고 $10M 이하 연매출인 기업 . 개인적으로 사용(학습, 비상업용의 오픈소스) 즉 어느 정도 성장한 기업은 Docker Desktop 유료 구독하라는 얘기이다. 유료 구독에서는 보안과 권한 제어 그리고 Docker hub의 풍부한 CI/CD 기능을 사용할 수 있다. 오픈소스가 개발 생태계를 풍요롭게 만들고 개발 환경에도 도움..
-
구글 시트에서 원하는 대로 서식을 변경하기개발하면서/etc 2022. 1. 9. 09:34
구글시트에는 날짜와 화폐 그리고 숫자 서식을 설정할 수 있는데 기본으로 제공하는 서식이 아닌 내가 원하는 서식으로 바꾸고 싶을 때가 있다. 구글시트에서는 맞춤 서식을 어떻게 제공하는지 날짜, 화폐, 숫자 각각에 대해 알아본다. 날짜, 화폐는 간단한데 숫자 맞춤 서식이 꽤 복잡하다. 처음부터 형식 만들기 보다는 예제를 선택한 후 수정하면서 적용되는 예제를 보며 진행하는게 괜찮은것 같다. 서식 테스트를 위해 날짜, 화폐, 숫자 모두 존재하는 삼성전자의 최근 10일 치 데이터를 가지고 진행해보자. 날짜 처음에는 서식을 암만 바꿔도 변경이 되지 않았다... 버근가? 싶었는데 찾아보니 텍스트 형식이 YYYY-mm-dd, 시간까지 한다면 YYYY-mm-dd HH:MM:ss 여야 한다. 구글시트에 있는 문자열 함수로..
-
Uber에서 Kafka consumer 모니터링 하는 방법개발하면서/타인글보면서 2021. 10. 25. 22:46
"Kafka consumer monitoring"하면 어떤 게 떠오르나요? __consumer_offsets 토픽, lag, autocommit, consumer rebalance, Burrow ※ Burrow에 정리한 dol9 글 https://dol9.tistory.com/272 https://dol9.tistory.com/273 현재 우버는 대부분의 서비스에서 Kafka를 사용 중인데 Kafka consumer 모니터링을 위해 자체 개발한 얘기가 소개된게 있어 정리해보았습니다. ※ 규모의 경제로 여차하면 자체 개발하는 것 같다. -_-;; 자체 개발 -> 오픈 소스 -> 기술 회사 창업? ㅋㅋㅋ 그리고 정리하다보니 __consumer_offsets 토픽 데이터뿐만 아니라 어떠한 이유로 내려간 con..
-
카테고리와 태그로 포스팅을 관리해보자살아가면서/생각하면서 2021. 10. 19. 21:47
오랫동안 블로그를 유지하니(1년 1포스팅도 있지만..ㅋㅋㅋ) 포스팅이 어느 정도 많아져서 포스팅과 카테고리, 태그가 직관적이지 않아 정리하고 싶었다. 카테고리/태그를 어떻게 쓰는지 찾아보고 적용한지는 몇 달 됐지만 돌구 티스토리에 오신 분이 이 글을 읽고 어떤 생각으로 구성됐는지 아신다면 포스팅 찾을때 도움될 것 같아 적어본다. 참고 url: https://wordpress.com/support/posts/categories-vs-tags/ https://help.edublogs.org/categories-vs-tags/ 카테고리와 태그의 공통점 글을 읽는 사람이 포스팅을 쉽게 찾도록 구조화 한다는 점에서 동일하다. 사용자가 카테고리 혹은 태그를 클릭하면 관련된 포스팅이 한개 이상 보여진다. 카테고리와 ..
-
"구글 스프레드시트 제대로 파헤치기" 읽었다.살아가면서/책읽으면서 2021. 10. 17. 13:57
책 전체 이름은 "일잘러의 비밀, 구글 스프레드시트 제대로 파헤치기"다. http://www.yes24.com/Product/Goods/101403770 왜 갑자기 구글 스프레드 시트 책을 읽게 되었나? 개인적으로 숫자 데이터를 요약 및 시각화하고 필터링/그룹핑이 되는 페이지가 필요했고 만들려고 했다. Python의 얇은 지식이 있으니 Jupyter Notebook으로 만들어 볼까 하고 이것저것 건들고 있었는데... 갑자기 Jupyter Notebook 으로 Python library 배우는게 주가 되고 필요한 기능들이 부가 된다는 느낌이 들었다. 물론 다양하고 깊게 알면 좋지만 나의 시간은 유한하다. 그래서 쉽게 사용 할것 같은 구글 스프레드 시트를 선택했다. 결론은 Google Sheets도, 책도 ..
-
Uber에서 Kafka를 MSA 큐로 사용하기 위해 고려한 것들개발하면서/타인글보면서 2021. 9. 19. 16:47
Kafka를 ETL이 아니라 서비스에 적용했다는 사례가 종종 들린다. 마지막 commit 이후 처리가 완료된 message가 연속적으로 있을 때 offset commit 돼야 하고 exactly-once, 그리고 consumer group 중 한 개 consumer만 재시작돼도 rebalance가 일어나면서 처리가 멈춰서 개인적으로 서비스에 Kafka를 도입에 부정적이다. 차라리 RabbitMQ처럼 온전히 Queue 목적으로 만들어진 제품을 쓰는 게 여러모로 좋다고 생각했다. 이런 나를 비웃듯이 우버에서 Kafka를 서비스에 어떻게 적용하는지 소개했다. 크흐~~~ https://eng.uber.com/kafka-async-queuing-with-consumer-proxy/ 결론부터 말하면 Kafka Co..
-
Elasticsearch의 개념 살펴보기..(2)아래에서 위로개발하면서/타인글보면서 2021. 8. 30. 08:59
이전 포스트에선 Elasticsearch 개념을 사용하는 측면으로 알아보았다. https://dol9.tistory.com/294 이번에는 반대로 Elasticsearch의 주 기능인 검색을 담당하는 Lucene 그리고 이를 관리하기 위한 Elasticsearch의 기능들을 알아본다. 바닥(?)을 알게 되면 Elasticsearch API들을 이해할 때나 문제 해결 시 도움이 될 것이다. 물론 모든 바닥을 알기에는 우리의 시간은 유한하니 나한테 필요한지 아닌지 고민하자 시작하자. https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up 역색인(Inverted Index) 검색엔진을 처음 배우면 듣는 자료구조다. 바로바로 역색인 입력한 문서에서..
-
Elasticsearch의 개념 살펴보기..(1)위에서 아래로개발하면서/타인글보면서 2021. 8. 21. 13:41
내 기준으로 Elasticsearch을 간단하게 운영하고 사용은 할 수 있지만 조금 복잡한 쿼리 작성이 필요할 때 바로 작성을 못하거나 예상치 못한 오류(Circuit breaker!!)를 보는 경우가 있어 필요한 부분을 하나하나 알아보려고 한다. 사실 가장 큰 이유는 그냥 궁금해서다. ㅎㅎ Elasticsearch에는 어떠한 기능들이 있고 역할이 무엇이며 왜 필요한지 알아가는 과정이 재밌을 것 같다. 알아가는 과정 중간중간 나의 업무나 삶에 적용하는 것도 재밌다. 먼저 Elasticsearch 사용자 입장에서 색인과 검색이 어떻게 이루어지는지 살펴본다. 위에서 아래로 https://www.elastic.co/blog/found-elasticsearch-top-down 2014년 글이지만 개념에 대한 설..