개발하면서
-
Slack에서 Kafka 운영/관리 하는 방법개발하면서/타인글보면서 2023. 6. 4. 11:41
트위터에서 Slack uses Kafka at Scale라는 제목을 시작으로 Slack에서 카프카를 왜 썼고 어느정도 규모인지 얘기하는 thread가 있어 정리해 봤다. https://twitter.com/BdKozlovski/status/1661700334157430784 트위터에서 즐기는 Stanislav Kozlovski “Slack uses Apache Kafka at scale: - 6.5Gbps - 700TB of data - 100s of nodes Here's their story 👇” twitter.com 네트워크 망은 6.5 Gbps를 사용하고 700TB 데이터, 100개 이상의 서버 노드가 존재한다. 1. 2016년에 큐 시스템으로 Redis를 사용 서비스 Web App들이 Redis..
-
Docker Desktop 유료화 정책 변경으로 대안 찾아보기개발하면서/타인글보면서 2022. 2. 6. 20:23
작년 8월에 Docker Desktop 구독 모델이 변경이 된다는 글이 올라왔다. https://www.docker.com/blog/updating-product-subscriptions/ 기존 Docker Free는 이름만 Docker Personal로 되고 무료로 사용할 수 있는데 다만 아래 조건에 해당될 때만 Docker Personal을 사용할 수 있다. . 250명 이하 이고 $10M 이하 연매출인 기업 . 개인적으로 사용(학습, 비상업용의 오픈소스) 즉 어느 정도 성장한 기업은 Docker Desktop 유료 구독하라는 얘기이다. 유료 구독에서는 보안과 권한 제어 그리고 Docker hub의 풍부한 CI/CD 기능을 사용할 수 있다. 오픈소스가 개발 생태계를 풍요롭게 만들고 개발 환경에도 도움..
-
구글 시트에서 원하는 대로 서식을 변경하기개발하면서/etc 2022. 1. 9. 09:34
구글시트에는 날짜와 화폐 그리고 숫자 서식을 설정할 수 있는데 기본으로 제공하는 서식이 아닌 내가 원하는 서식으로 바꾸고 싶을 때가 있다. 구글시트에서는 맞춤 서식을 어떻게 제공하는지 날짜, 화폐, 숫자 각각에 대해 알아본다. 날짜, 화폐는 간단한데 숫자 맞춤 서식이 꽤 복잡하다. 처음부터 형식 만들기 보다는 예제를 선택한 후 수정하면서 적용되는 예제를 보며 진행하는게 괜찮은것 같다. 서식 테스트를 위해 날짜, 화폐, 숫자 모두 존재하는 삼성전자의 최근 10일 치 데이터를 가지고 진행해보자. 날짜 처음에는 서식을 암만 바꿔도 변경이 되지 않았다... 버근가? 싶었는데 찾아보니 텍스트 형식이 YYYY-mm-dd, 시간까지 한다면 YYYY-mm-dd HH:MM:ss 여야 한다. 구글시트에 있는 문자열 함수로..
-
Uber에서 Kafka consumer 모니터링 하는 방법개발하면서/타인글보면서 2021. 10. 25. 22:46
"Kafka consumer monitoring"하면 어떤 게 떠오르나요? __consumer_offsets 토픽, lag, autocommit, consumer rebalance, Burrow ※ Burrow에 정리한 dol9 글 https://dol9.tistory.com/272 https://dol9.tistory.com/273 현재 우버는 대부분의 서비스에서 Kafka를 사용 중인데 Kafka consumer 모니터링을 위해 자체 개발한 얘기가 소개된게 있어 정리해보았습니다. ※ 규모의 경제로 여차하면 자체 개발하는 것 같다. -_-;; 자체 개발 -> 오픈 소스 -> 기술 회사 창업? ㅋㅋㅋ 그리고 정리하다보니 __consumer_offsets 토픽 데이터뿐만 아니라 어떠한 이유로 내려간 con..
-
Uber에서 Kafka를 MSA 큐로 사용하기 위해 고려한 것들개발하면서/타인글보면서 2021. 9. 19. 16:47
Kafka를 ETL이 아니라 서비스에 적용했다는 사례가 종종 들린다. 마지막 commit 이후 처리가 완료된 message가 연속적으로 있을 때 offset commit 돼야 하고 exactly-once, 그리고 consumer group 중 한 개 consumer만 재시작돼도 rebalance가 일어나면서 처리가 멈춰서 개인적으로 서비스에 Kafka를 도입에 부정적이다. 차라리 RabbitMQ처럼 온전히 Queue 목적으로 만들어진 제품을 쓰는 게 여러모로 좋다고 생각했다. 이런 나를 비웃듯이 우버에서 Kafka를 서비스에 어떻게 적용하는지 소개했다. 크흐~~~ https://eng.uber.com/kafka-async-queuing-with-consumer-proxy/ 결론부터 말하면 Kafka Co..
-
Elasticsearch의 개념 살펴보기..(2)아래에서 위로개발하면서/타인글보면서 2021. 8. 30. 08:59
이전 포스트에선 Elasticsearch 개념을 사용하는 측면으로 알아보았다. https://dol9.tistory.com/294 이번에는 반대로 Elasticsearch의 주 기능인 검색을 담당하는 Lucene 그리고 이를 관리하기 위한 Elasticsearch의 기능들을 알아본다. 바닥(?)을 알게 되면 Elasticsearch API들을 이해할 때나 문제 해결 시 도움이 될 것이다. 물론 모든 바닥을 알기에는 우리의 시간은 유한하니 나한테 필요한지 아닌지 고민하자 시작하자. https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up 역색인(Inverted Index) 검색엔진을 처음 배우면 듣는 자료구조다. 바로바로 역색인 입력한 문서에서..