조급하지말고 천천히

https://www.dremio.com/tuning-parquet/

Parquet 파일 하나는 1개 이상의 Row group이 있고 Row group은 column 별로 저장 되어있다.

Row Group 크기를 크게하면 column의 데이터가 연속적으로 저장이 되는 부분이 커져 연산 속도나 압축 효율이 좋아진다.

하지만 disk block 크기까지 고려한다면….

A: 커다란 Parquet file에 커다란 row group
앞에서도 얘기한것 처럼 연산 속도나 압축 효율은 증가하겠지만,
하나의 Parquet 파일/Row group이 두개 disk block에 걸쳐 있을 확률이 높기 때문에 추가적인 disk I/O가 발생한다.

B: 그렇다고 작은 Parquet file과 작은 Row group 한다면...
두개의 disk block에 걸칠 경우는 적겠지만 Parquet columnar storage 의 장점이 줄어든다. (row-based 저장하는것과 비슷해질듯)

C: 가장 이상적인 방식은 1개의 Parquet file에 1개의 Row group가 1개의 disk block에 있으면 가장 좋다. (이상적!!)

But how does the block size of the disk come into play?

"come into play"

This mitigates the number of block crossings, but reduces the efficacy of Parquet’s columnar storage format.

mitigates, efficacy

https://blog.usejournal.com/sorting-and-parquet-3a382893cde5

SELECT * FROM Customers WHERE Country=’Mexico’;

위 쿼리를 실행하기 위해서는 모든 데이터를 읽으면서 Country가 Mexico인 데이터를 추출하는 작업을 해야한다.
만약 Country가 Mexico인 고객이 전체 고객 중 1 %밖에 되지 않는다고 하더라도 전체 데이터를 읽어야 한다. OMG!!

Predicate pushdown이란 query engine에서 storage layer에 조건을 적용하여 읽어들일 양을 줄이는것을 의미한다.

Parquet은 Row group의 메타데이터를 이용하여 predicate pushdown이 동작한다.

Eg: integer column의 경우 min/max 값을 메타데이터에 저장한다.
string column의 경우 Row group 내의 distinct 값을 메타데이터에 저장한다.
(아래에도 나오지만 40,000개가 한계라고 한다. vcnc에서 관련 작업을 어떻게 해결했는지 나온다.)

근데 어떤 column을 정렬해야하나요?
각자 환경에 따라 다르므로 실행되는 쿼리들을 모두 기록하여 자주 사용되는 필터(where)가 어떤건지 파악 후
해당 column을 sort해서 저장하는것을 권고한다.

Predicate pushdown means that the query engine is able to push the condition right into the storage layer and thus reduce the amount of data that is read.

and thus. and then 하고 비슷하면서도 뭔가 다른것 같다.

Another idea is to keep a record of all the queries that are run into a log and then analyze the queries to understand which column is filtered on the most.
"column is filtered on the most"

https://blog.cloudera.com/blog/2017/12/faster-performance-for-selective-queries/

적절한 파티션 분리는 조회시 꽤나 유용하게 사용된다.
예로 일별로 파티션 된 데이터가 2년정도 쌓였는데 이때 최근 7일 데이터를 조회하고 싶다면 730개 파티션 중에서 7개만 조회하면 된다. 100x 효율 개이득!!

하지만 파티션이 너무 많으면 메타 데이터 관리가 부담이 될수 있으므로 적절하게 지정해야한다.

그리고 모든 것을 파티션으로 해결하는것은 불가능하므로 몇가지 유용한 분할 스키마 방식이 있다.

각 Parquet 파일에는 최대/최소 같은 정보가 담긴 메타 데이터가 있다.
Impala 2.9 부터는 각 필드의 min_value, max_value 필드를 읽어 조회시 파일 읽을 때 건너뛴다.
Hive / Spark로 파일을 쓴 경우에 Impala는 deprecated 된min, max 필드만 읽는다. (현재 회사에서 사용하는건 Impala 2.11)

※ Parquet row group 과 dictionary filter에 대해 이해를 돕기 위한 친절한 그림..꼭 보세요!!

Parquet Row Group Skipping via Min/Max Statistics 테이블 생성시 Sort BY를 했을때와 안 했을때의 차이를 보여줌

Parquet Row Group Skipping via Dictionary Filtering 
Impala는 자동으로 dictionary filtering을 적용한다.
하나의 parquet 파일의 한 column distinct value 갯수가 40,000개를 넘으면 예외

Min/Max 범위가 매우 커서 그다지 효과적이지 않을때 dictionary filtering을 이용하여 해당값이 존재하는 파일인지 체크하여
읽어드릴 파일 갯수를 줄일수 있다.

앞에 설명이 잘 되어있어서

쌩짜로 만들어진 테이블과 partition 으로 만든 테이블, partition과 clustering으로 만든 테이블의 비교한 표는 재미지게 볼 수 있다.

This approach significantly speeds up selective queries by further eliminating data beyond what static partitioning alone can do

This means that when the min/max skipping may not be effective due to the min/max range being too large, dictionary filtering can check for the existence of values without reading any of the rows in the file.

VCNC 기술 블로그 글을 보고 호기심이 생겨 찾아보았습니다.

http://engineering.vcnc.co.kr/2018/05/parquet-and-spark/

현재 Spark로 parquet 파일 쓰고 Hive, Impala로 조회하는 부분이 있는데 테스트 하면서 현재 상황에 맞게 수정 해봐야겠다.

Go에 관심을 갖은건 2012년 정도로 생각된다. 하지만!! 지금까지 Go 관련 글을 Evernote나 workflowy에 저장만 하고

딱히 Go를 이용해서 뭘 만들어 보지도 않을 뿐더러 문법도 애매하게 안다...

지금까지 행동 없이 관심만 가지고 지내면서 너무나 무뎌진 나의 개발 능력을 체감했고, 날카롭게 만들고 싶었다.

(물론 무뎌짐을 느낀게 처음은 아니지만 이번엔 세게 왔다. 결심은 큰 의미 없으니 어느정도 생각이 잡히면 바로 행동)

우선 내가 날카롭게 만들고 싶은게 무엇인지 적어보면 

다양한 데이터를 손쉽게 수집하기,

수집한 데이터와 사용 용도에 적합한 DB solution을 찾을 줄 알고, 장/단 점 파악 및 설정 값들이 어떤 의미가 있는 정도, 

마지막으로 저장된 데이터를 쉽게 관리 할수있는 시스템 만들기다. 

우선 Go의 장점/단점이 어떤게 있는지 알아보고, 명분을 찾아보자.

Why go is Not Good  http://yager.io/programming/go.html

Generic, Type overloading 이 없다

immutable data type, pattern matching, option이 없다

대부분 multiple return의 두번째 값을 통해 오류처리를 하는데 잊어버리기 쉽다.

embedded programming에는 overhead가 없는 Rust 가 짱짱맨

Why we switched from Python to Go https://getstream.io/blog/switched-python-go/

C++, Java와 비슷한 성능

직관적인 코드로 생산성 괜춘

goroutine과 channel을 이용한 쉬운 동시성 코딩 (1977년에 시작된 CSP를 새로운 접근 방식으로 구현)

부족한 (CRUD API 지원되는) Framework과 패키지 관리 시스템

부족한 Error Handling

Python 과 Go를 비교

코딩 시간은 Python이 조금 더 짧았지만 최적화 하는데 시간이 오래 걸렸다.

Go는 최적화가 필요하지 않을정도로 괜찮은 성능이 나왔다.

Why Go and Rust are not competitors https://dave.cheney.net/2015/07/02/why-go-and-rust-are-not-competitors

Rust는 C/C++ 호출이 overhead 없이 가능, Go엔 cgo라는게 있지만 성능 이슈가 있다.

Rust는 극강의 성능을 지향, Go는 단순함을 유지 하기 위해 성능을 희생

Go는 단순함이나 직교성을 해치는것을 막는것에 초점을 잡았고

Rust는 unsafe하거나 오버헤드, 즉 성능에 영향을 끼치는것을 막는데 초점이 잡았다.

Rust는 성능을 요구하는 C++, D 같은 언어와 경쟁한다. ex) 게임 엔진, 웹 렌더링 엔진

Go는 인터넷 2.0세대 이후 생긴 Ruby, Python, Node.js 그리고 배포에 오랜 시간이 걸리는 JVM 기반 언어와 경쟁한다.

Why Go? https://dave.cheney.net/2017/03/20/why-go

메모리 관리에 대해서 안전하다.

개발 생산시간이 컴파일 시간보다 비싸진건 오래전부터다. Go는 컴파일 시간이 짧고, 코드에 모호성이 없다.

코드를 읽는것이 작성 하는것보다 우선 순위가 높다는 기조로 만들어졌다. 그리고 다양한 분석 도구들이 생기고 있다.

하드웨어의 발전만으로 성능을 이끌어냈던 공짜 점심은 끝났다. 

goroutine, channel를 이용해 동시성을 지원하는 코드를 손쉽게 작성할수 있다.

How to convince Your company to Go with Golang  https://sendgrid.com/blog/convince-company-go-golang/

Go를 좋아하면 새로운걸 배우는걸 좋아하는 사람들이고 이런 사람들은 우리 회사가 원하는 개발자였다. 채용 개이득!! ㅋㅋ

마음에 드는말

기술로 무언가를 할수 있다는것이 가장 좋은 방법은 아니라는 것을 사람들에게 이해시키는데 도움이 되었던 말 

“Perl로도 계속 개발할 수 있다."

“We can keep doing it in Perl,” which usually helped people to understand that just because you can do something with a technology doesn’t mean its the best way to do it.

Ten Reasons Why I Don’t Like Golang  https://www.teamten.com/lawrence/writings/why-i-dont-like-go.html

public, private을 대소문자로 구분하는것, scope이 어디까지인지 알기 어렵다

error handling이 어렵다

“convention over configuration” 기조가 작은 프로젝트에선 괜찮지만 커다란 프로젝트에선 너의 발목을 물것이다!!

사용하지 않는 variable이나 import가 있으면 경고가 아니라 컴파일이 안된다.

ternary 연산자가 없어서 불편하다.

generic이 없어서 interface{}를 사용하고 있다.

db 혹은 web 과의 통신이 잦은 프로그램에서는 추천하지 않는다.

Why rust? https://pingcap.github.io/blog/2017/09/26/whyrust/

SQL 계층은 Go의 장점을 십분 활용해 구현했지만, 성능이 중요한 저장 계층에선 Go가 단점이 되었다.

저장소로 RockDB를 사용하기로 했는데 cgo의 오버헤드 무시 못함 

Why Go? http://www.mikeperham.com/2014/10/08/why-go/

https://github.com/golang/go/wiki/FromXToGo

지금까지 tutorial 수준으로 해왔던 경험과 위 링크를 읽은 후 Go에 대한 나의 생각

문법이나 생태계 측면으로는 정말 생존에 필요한 도구만 챙기고 바로 캠핑을 떠나는 모험가 같다. 

좀 더 편안하고 쉬운 캠핑을 위해 더 챙겨가면 좋은데 가볍고 빠른 행동(?)을 위함이다.

하지만 단체로 캠핑을 갈 경우 함께 가는 사람들이 모두 모험가형이 아니라면 좀 더 많은 것들을 챙겨가야 할것이다. 

(Go가 큰 프로젝트에 사용할때 불편하다는 말에 어느정도 공감한다. 물론 크다는 기준이 굉장히 주관적이지만...)

사용성이나 성능면으로는 어떠한 분야를 특출나게 잘하진 않지만 다양한 분야를 어느정도 잘하는 사람 같다.

[학교 성적/회사 성과]도 상위권이고 친구와의 관계도 그리 나쁘지 않고, 이성에게 인기도 어느정도 있는 그런 사람.

Go를 나쁘게 보면 어중간하다고 할수 있지만 두루두루 잘 한다고 볼 수도 있다.

정말 극강의 성능을 필요로 한다면 C/C++나 Rust로, 외부 데이터와의 연동이 많다면 Java로 하고 

그외에는 Go!!, Python의 라이브러리가 좋은게 있으면 Python을 이용하자

(현재 데이터 분석 및 관리하는건 Python이 최고!!!)

우선 Go부터 시작하고 어느정도 익숙해지면 Python도 익숙해져보자 (제발~~~)

평소 데이터 저장소 관련해서 CockroachDB, ArangoDB와 RethinkDB를 관심있게 보고 있었습니다.
CockroachDB는 확장성과 Consistency를 ArangoDB는 다양한 모델 지원(K-V, Doc, Graph), RethinkDB는 real time 을
무기로 본인들의 DB가 좋다고 내세웠다. (순전히 저의 생각이에요.)

어느날 RethinkDB가 shutdown 했다는 트윗을 보게 되었습니다. 기술적으로 꽤 괜찮았다고 생각했는데 
어떤 이유로 문을 닫는지 궁금해서 관련 글을 찾아보게 되었습니다.

부족한 영어지만 찾은 글들을 정리해보려고 합니다.

https://rethinkdb.com/blog/rethinkdb-shutdown/

공식 홈페이지 블로그에 올라온 shutdown 된다는 얘기, 기술력은 꽤 괜찮았지만 적당한 비지니스 모델을 못 찾아서

shutdown 했다는 얘기와 Stripe에 합류해서 오픈소스로서 RethinkDB를 진행한다는 얘기를 하고있다.

Why RethinkDB failed  ***** 별 다섯개!!

※ 원래는 읽어보고 기억에 남는것만 적으려고 했는데 읽다보니 한줄 한줄 정말 저에게 도움 되는 내용들이 많아서
안되는 영어지만 의역을 하였습니다. (뭐 반 이상은 구글 번역기가 해주었지만요...)

생략하기도 하고 제가 틀리게 해석한 부분이 있을수도 있으니 여기서는 느낌만 가졌으면 좋겠습니다.
오역이 있다면 알려주세요.

Summarizing RethinkDB why we failed  

Rethinkdb joins linux foundation

CNCF가 RethinkDB를 사면서 라이센스가 ASLv2로 변경됐다는 것과 기존 Github이나 웹페이지, SNS계정들은 계속 운영 됨을
얘기하고 있다. RethinkDB가 shutdown 되면서 RethinkDB 직원든이 Stripe에서 일하게 됐고, 그곳에서 RethinkDB
오픈소스 참여를 통해 지속적으로 발전 시킨다고 한다. 곧 2.4를 릴리즈 하는데 2.5에서는 개발자들이 좀 더 다가가기 쉽게 코드를 개선하는것을 최우선으로 하고 Legacy코드와 기술 부채 제거 하면서 성능 향상이 목표라고 얘기 한다.

https://www.joyent.com/blog/the-liberation-of-rethinkdb

함께 만들어가는 입장에서 AGPL의 문제점을 설명하고  CNCF에서 RethinkDB의 지적재산권(?)을 샀다는 얘기
그리고 Apache Public License 2.0. 로 변경했다는 얘기를 전한다.

RethinkDB meeting Note

라이센스에 관한 설명

RehinkDB is dead long live RethinkDB

Social Tables 서비스를 운영하면서 MySQL 적용했을때의 단점을 얘기하고 Rehink로 옮겼을때의 장/단점을 언급한다.

RethinkDB의 단점이 큰 문제가 아니라는 점을 언급하고 오픈소스가 주는 자유의 힘, 그리고 참여하고 싶다는 얘기로 마무리 한다.

RethinkDB vs Postgres

해당 포스트와 거리는 멀지만 RethinkDB를 잘 사용하다가 shutdown과 license로 인해 PostgreSQL로 전환한 얘기가 흥미로워 추가했다. (※ PostgreSQL에 notify, listen이 있는건 처음 알았네요.)

스타트업을 그만두며 깨달은 3 가지 (이 글도 관련있는 글이라 첨부해봅니다. ㅎ)

※ 내 생각

3년 전 부터인가? 기회가 된다면 1인 기술회사 운영을 막연하게 생각"만"하고,
주위 사람들에게 말하고 다녔습니다. (사회 초년생때 만난 송상욱 형님 영향이 크다고 생각되요.ㅎ)
위에서도 말했지만 저도 기술력만 뛰어나면 마케팅이나 투자 없이도 성공할수 있다고 생각했습니다. 

제프딘이나 더그 커팅, 존 카맥 정도는 되야 앞의 문장이 성립하고,
그게 아니라면 기술뿐 아니라 비즈니스도 뒷받침 되어야하는걸 이제야 알게되었습니다. (참 빨리도 알았네요;;)
(각자 생각하는 성공의 관점에 따라 다르겠지만 돈 많이 버는것, 생존 이후의 step)

더군다나 최근에는 굉장히 멋있는 설계와 꽤 괜찮은 기술을 썼다고 성공 하는것도 아니고, 10년 전 기술을 사용하고
아슬아슬한 설계라고 해서 성공 못하는것도 아님을 깨닫고 있습니다. 

제가 생각했던 시장이 그다지 좋지 않다는것도 알게 되었구요. 단순한 지적 호기심과 인기에 따라 움직이지 않고

제가 잘하는건 무엇이고 지금 해야할 것들을 잘하는 것과 어떻게 연관시킬수 있을지 항상 고민하고 실행 해야겠습니다.

값진 경험을 잘 정리해준 RethinkDB 아끼고, 오픈소스 만세~~~~~

ps:
"Done is better than perfect. 수 백번의 이상적인 생각보다 한번의 실행이 변화의 시작이다."
다양한 요구사항을 손쉽게 수정할수 있고 멋진 설계를 하는게 당연히 좋지만
정해진 시간 안에 완성 하는게 최우선되어야합니다.
주어진 시간 안에 요구사항을 충족하는 동시에 나름 괜찮은 걸 만들수 있도록 많은 연습을 해야겠습니다.

X 같은 프로페셔널리즘 (이곳에서 말하는 프로란 허용할 수 있는 품질을 주어진 시간안에 만들수 있는 사람을 말한다.)

간만에 쉬는 시간을 갖게되어 branch  전략이나 커밋 메시지, 코드 컨벤션에 대해 다른 사람들은 어떻게 했는지 

살펴보고 정리 하려 한다. (그동안 정말 구현하기에 급급...ㅜ,ㅜ)

우선 이런 마음가짐으로 팀원과 맞춰가자

빡빡하게 하나부터 열까지 규칙을 정하는게 아니라, 널널하게 하자. (말이 애매한데, '굵은것만 정하자...' 정도로 생각함) 실력이 있다면 조금 다른 규칙도 충분히 이해가 되기 때문에 그렇다. 조금 달라도 익숙해지도록 노력 하고, 정~~말 익숙하지 않으면 불편하다고 생각되면 같이 얘기해서 수정해 나갔으면 좋겠다. 상대방을 존중하고 각자 발전을 원하는 개발자들이니까!! 존중과 신뢰. 그리고 코드만 얘기해야지 사심이 들어가지 말자.

. 코드 리뷰

토스랩] 코드리뷰, 이렇게 하고 있습니다.

김포프] 올바른 코드리뷰 프로세스

김포프] 코드 몽키를 위한 코딩 스탠다드 

Realm] Codereview HowTo

Github] Using Pull Request

. 커밋 메세지

http://www.laurencegellert.com/2013/07/how-to-write-a-proper-commit-message/

https://robots.thoughtbot.com/5-useful-tips-for-a-better-commit-message

http://chris.beams.io/posts/git-commit/

. JIRA 이슈단위로 움직이므로 HEAD에 이슈번호 붙이기

. SUBJECT는 50자, BODY는 72자 넘지 않도록 하기
    (SUBJECT에 '.'찍지말라는데 이유는 한자한자가 아까운데 그걸 왜 쓰냐 정도,
      50, 72숫자가 나온 이유는 git 만든 Linus가 권고 했다함 -_-;;)

. Github에 JIRA서비스 연동해서 full url을 적지 않아도 이슈 번호로만 JIRA 연동되도록 하기

. 상대방이 커밋 메시지를 읽은 후 코드 봤을때 이해가 쉽게 되도록 해야한다는 배려심

. 코드 규칙

. 현재 nodeJS, Java, Scala를 사용하고 있다. 많은 사람들이 인정한 코드 컨벤션을 따르기로 한다. IntelliJ config로 만드는 작업 필요
. NodeJS는 airbnb, Java는 Google, Scala는 Scala doc, databricks 

이 글을 작성하면서 다시 한번 느낀건 상대방 존중과 배려가 함께 해야한다는 점.

와~!!! 콘솔쉘 마무으리!!!

키보드, 인터럽트, 타이머에서 원하는 동작을 하기위해 해당 포트에 정의된 데이타를 주고 받는다.
디바이스 드라이버에 대해 자세히는 몰라도 대략적으로 어떻게 코드를 짜야되는지 맛을 봤던 좋은 시간이었다.

읽을때는 이해했는데 시간 지나고 다시 읽으려고하니 기억이 나질 않는다. 양도 많고, 기억력도 썩 좋질 않아서...
4부 가기전에 1, 2, 3부 정리 좀 하고 가야지

하나 아쉬운건 CS, DS와 실제 코드나 데이타가 메모리에 올라가는 관계에 대하여 명확하지가 않다...

써놓고도 뭔말인지...우선 직진이다!! ㅋㅋㅋㅋ

아~!! 드디어 IA-32e 모드로 넘어갔다.

의지가 약해서 듬성듬성 하다보니까 오래걸렸다. 이젠 놀만큼 놀았다고 생각해서 우직하게 준비해야되는데 동기부여가
아직 덜 됐나보다. ImageMaker때문에 이틀정도 걸렸다... WriteKernelInformation 함수에 lseek부분에서 오류가 발생!
이틀동안 삽질하다가 포기하는 마음으로 #include <unistd.h> 추가해줬더니 정상동작했다!! : )

asm이나 간단한 C소스는 직접 입력했는데 ImageMaker, makefile, elf_xxx.x파일은 복붙했다.   앞으로 뭐가 있나 다시 봤는데...타이핑하는게 더 줄것같다ㅋㅋㅋㅋㅋ

10장에서 IA-32e 모드에 스택을 지정하는 부분이 있는데 Stack segment 를 0x10으로 설정하고 주석은 다음과 같았다.

; 스택을 0x600000~0x6FFFFF 영역에 1MB 크기로 생성

응!!  0x10이랑 0x600000 은 뭔 관계지? 했는데 딱맞는 글이!!  http://jsandroidapp.cafe24.com/xe/4588

즉 16비트 리얼모드만 하한선을 정하고 32/64에서는 의미없다. 0x10은 세그먼터 셀렉터의 개념으로 

세그먼트 디스크립터를 가리킨다.

2015년 1월 초에 unstable에 merge된 QuickList에 알아본다.

https://matt.sh/redis-quicklist 에서 나온 얘기를 조금 하고 코드를 보자

Redis에 List 자료구조는 일반적인 Linked list와 메모리를 절약을 위한 Ziplist두개가 있다.

포인터를 이용하여 리스트 구현한것과 배열을 이용하여 리스트를 구현한것이라고 생각하면 쉽다.

list-max-ziplist-entries 512
list-max-ziplist-value 64

(노드 갯수가 512개 이상 || 저장하려는 값의 길이가 64 byte 초과)면 Linked list로 저장이 되고

(노드 갯수가 512개 미만 && 저장하려는 값의 길이가 64 byte 이하)면 ziplist로 저장이 된다.

재미진건 ziplist -> Linked list변환은 되는데 Linked list -> ziplist 변환은 안된다.
(하긴 511개 노드였을때 넣다뺐다 하면 변환하다가 끝나겠네...그리고 추가전에만 타입 변환 검사 한다.삭제할때는
검사 안함)

http://dol9.tistory.com/187

Linked list의 장점은 추가/삭제가 쉽다는 점이고, 단점으로는 작은 값(예:4 byte)을 추가하는데 실제 값보다
더 많은 메타데이타?(예: prev, next 포인터, 8 byte)를 사용한다.

Ziplist의 장점은 내부적으로 포인터를 안써서 메모리 절약이 된다는 점이고, 단점으로는 리스트 중간에 노드를
추가/삭제를 하게되면 메모리 재할당, 복사/이동이 일어난다.

2014년 2월 3일에 봤을때 Redis에 리스트 자료구조는 QuickList만 사용한다.

https://github.com/antirez/redis/pull/2143 QuickList에 대해 정말 활발한 리뷰 오고가는걸 볼 수있다.
(재밌겠다~~~~~!!!!)

각 노드를 ziplist로 구성하고 적정 크기로 유지하면서 각각의 노드는 포인터로 연결하는 자료구조 그게 QuickList이다.

[ziplist 0] <-> [ziplist 1] <-> ... <-> [ziplist N]

데이타를 ziplist에 추가하다 조건이 충족되면 노드를 하나 더 생성해서 새로운 노드에 데이타를 저장하거나 노드를
split한후 데이타를 저장하고 Merge하는 작업을 한다.

재미진건 ziplist에서 더 아끼기위해 압축을 한다.

QuickList에 대해 대략 알아봤으니 궁금한 부분을 나열하고 그에 대해 알아보자

. 데이타 traverse

. 데이타 추가할때 동작

. Compression의 동작과 발생 조건

. Decompression의 동작과 발생 조건

. 노드 Merge 동작과 발생 조건

. 노드 Split 동작과 발생 조건

로 나눠서 하면 좀 간단하지 않을까 했지만 결국엔 주저리 떠드는걸로 됐음

. 데이타 traverse

pop이나 push명령이 아닌 중간에 있는 노드에 작업을 해야할때가 있다.

기존 ziplist, Linked list는 하나하나씩 노드 곱씹어가며 index 도달할때까지 이동하는데

QuickList는 quicklistNode->count에 ziplist의 데이타 갯수가 저장되있어서 마치 skiplist처럼 탐색을 한다.

. 데이타 추가할때 동작을 보기전에 관련 설정값을 알아보도록 하자

list-max-ziplist-size는 한 노드의 ziplist 최대 크기또는 최대 갯수를 정한다. -5~-1은 최대 크기(byte),
양수는 최대 갯수를 의미한다. 1로 해놓으면 성능 더 안 좋은 Linked list라고 보면 된다.

list-compress-depth는 head, tail부터 안쪽으로 이동하면서 압축 하지 않을 노드의 깊이를 정한것이다. 
compress에서 다시 보자.

데이타 추가전에, _quicklistNodeAllowInsert 함수로 해당 노드가 가득찬 상태인지 아닌지 판단한다. 

그리고 추가되는 위치가 ziplist의 처음이면서 정방향인지, ziplist의 마지막이면서 역방향인지도 판단한다. 

총 6개로 구분해서 추가 로직을 구현했는데 간단하게 알아보자

대부분의 분기문에서 해당 노드를 decompress하고 데이타 추가 작업후 compress를 한다. 

얼마나 안타까운 현실인가 LINSERT 명령어는 자제 해야겠다.
비즈니스상 꼭 필요한 거라면 list-compress-depth를 0으로 사용해서 압축을 안하던가...

. 노드 Merge 동작과 발생 조건

. 노드 Split 동작과 발생 조건

발생조건은 데이타 추가에서 알아본 6개의 분기문중 마지막 분기문에서 split과 Merge가 발생한다.

노드 Merge할지 말지 결정할때 사이즈를 구하는데 11을 빼는이유는 ziplist Header사이즈 제거
(두 노드중 한 노드는 header 필요없음)

[A]<->[B]<->[C]<->[D]<->[E]

Merge 는 기준이 되는 노드를 인자로 받아 A/B Merge , D/E Merge , B/C Merge , C/D Merge 가 발생한다.(쉽게 설명한 감이 있음, 사실 앞에서 Merge 가 발생되면 달라짐)

Split 은 동작이 단순 무식하다. split할 노드와 동일한 노드를 새로 만들어서, 

한 노드는 (offset+1)~끝까지 지우고 다른 하나는 0~offset까지 지운다.

. Compression의 동작과 발생 조건

ㄴ 노드 생성하고 기존 노드에 포인터 연결후 기존 노드 compress

ㄴ LSET 명령으로 값 수정 후 해당 노드 compress

ㄴ 노드 merge 할때 count가 큰 노드 compress (ziplist 합치는 작업시 작은 ziplist가 큰 ziplist에 merge된다.)

ㄴ iter 사용후 release할때 iter에서 가리키고 있는 노드 compress

ㄴ A <-> B 노드가 있고 iter가 A의 ziplist 마지막으로 가리키고 있을때 Next 실행 시 A 노드 compress
(iter가 B의 ziplist 처음을 가리키고 있고 Prev 실행시 B 노드 compress)

compress는 두가지 방법으로 한다. 하나는 인자로 들어온 노드만 compress하는 방법이 있고,

다른 하나는 list-compress-depth 변수를 이용하는 방법이 있는데 다음과 같다.

list-compress-depth=2, 인자로 들어온 노드=[E] 

[A]<->[B]<->[C]<->[D]<->[E]<->[F]<->[G]

바깥쪽에서 안쪽으로 list-compress-depth만큼은 compress 안하겠다는 말인데,[A], [B], [F], [G] 노드를 decompress하고 [E]를 compress한다
아...이건 설명하기 참 거시기 하다. compress 방식을 두개로 나눈 이유는 decompress 에서 알아본다.

. decompress의 동작과 발생 조건

ㄴ 노드 compress 작업할때 decompress

ㄴ 두 노드 Merge 할때 두 노드 decompress

ㄹ 데이타 삽입시 노드 decompress

ㄹ 데이타 삭제시 노드 decompress

ㄹ로 되어있는 발생조건이 ㄴ과 다른건 recompress값을 1로 대입하는것 말고는 없다.
차이는 해당 노드만 compress할것이냐, 아니면 compress 두번째 설명한 방식대로 할것이냐 차이다.
ㄹ조건을 보면 데이타 추가/수정/삭제인 경우이다. matt의 섬세함이 느껴졌다.
한번 decompress/compress 한 노드이니까 굳이 할 필요가 없는거지...

따라가기도 버거운걸 코드로 표현한 matt...참 대단하다 난 QuickList 자료구조만 알아본건데
aof, rdb등 전체적인 구조 다 수정 했을텐데...무서운사람....덜덜

antirez가 활발하게 커뮤니케이션 하는거 처음봤다. 부러움이 넘쳤다, 재밌겠다 ㅜ,ㅜ.
영어로 내 의견 쓸 정도는 되야하는데...

기승전 자기반성 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

책산지는 거의 2년정도 된것같다. 혼자 커널을 공부하자니 막막해서 따라하기 식으로 하면 될것같아
덜컥 사버렸다. 1년전 시도했던것 같은데 환경 세팅하다가 흐지부지 됐던...으악!!! 진득하게 좀 하자!!
실습하면서 생긴 이슈나 깨달은것들을 남기기로 했다 나중을 위한것도 있지만 나 스스로에게 동기부여를 위해서?;;;

이번 포스트는 p.131까지 진행했다.

p.59에 binutils 빌드를 하는데 아래와 같은 오류가 발생했다.

intl이라는 라이브러리를 못찾겠다고 한다. 3년도 더 된 책이라 버젼이 많이 달라졌다.
뜨끔하면서 세월 더 지나가기전에 책 한번 봐야겠다는 의지가 생긴다.
binutils빌드는 책보다 http://jsandroidapp.cafe24.com/xe/3171 보면서 하고, intl라이브러리가 없다고 하는건
아래 그림과 같이 libintl-devel, libintl8 바이너리 설치를 해주면 된다.

qemu는 공식 사이트보다 http://kkamagui.tistory.com/attachment/cfile9.uf@113BF3354EA8233D2B1020.zip 로
하는게 좋은것같다.

부트로더 테스트 성공!

레지스터가 익숙하지 않아서 진행하다가 레지스터 얘기 나오면 3.2장을 펼쳐보게 된다.
짧은 호흡으로 계속 가서 좀 익숙해져야겠다.

====================== 2015/01/29 추가 ======================

@gnutel님 만나서 얻은 꿀팁  virtual box에서 설치한 리눅스 환경에서 64비트 멀티코어 OS원리와 구조 실습하기

1. 우선 Xming을 설치한다. http://sourceforge.net/projects/xming/

2. putty 설정을 수정한다.

3. apt-get, aptitude같은걸로 qemu, nasm 설치

4. windows에서 작업한 Disk.img 복사해서 테스트(이미지는 5장꺼...ㅋㅋㅋ)

작업한걸 옮기자니 그게 귀찮아서 윈도우로 실습 하고있는건 모순....ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

요새 좀 보고싶은 오픈 소스들이 죄다 C++로 되어있어서 학습하고있다

http://www.learncpp.com/  여기서 후다닥 보고있는데 집중력이 20분을 못가네....ㅋㅋㅋㅋㅋ;;;

Pointer 와 reference의 차이

레퍼런스가 syntactic sugar인건 알겠는데, 포인터와 차이점은 무엇인가?

1. 포인터는 재할당이 되지만, 레퍼런스는 한번 초기화 하면 변경하지 못한다.
2. 포인터는 null을 가리킬수 있지만, 레퍼런스는 꼭!어떤걸 참조 해야한다.
3. 포인터 자체 주소값은 가져올수 있지만, 레퍼런스는 할수 없다.
4. reference arithmetics가 없다.
   

Constructor initialization lists

composition 혹은 상속관계에 있는것들은 저렇게 초기화하는걸 강력하게 추천!!! 이라고 한다
(const, reference상관없이)

Derived class initialization

생성자를 호출하게 되면 5가지의 초기화가 발생하는데

1. 메모리 할당
2. 적합한 생성자 호출
3. initialization list 실행
4. 생성자 body 실행
5. 호출한 곳으로 제어권 넘김

자식 클래스에서 부모 클래스 변수를 초기화 하는 방법은?  initialization list로는 할 수 없다. initialization list는 
같은 클래스의 변수만 초기화 할수 있다
const, reference 변수때문. 그리고 제약을 함으로서 모든 변수의 초기화는 한번만 하는것을 보장해준다

부모 클래스의 변수는 다음과 같이 초기화 시킨다.

Inheritance and access specifiers

상속 타입, 멤버 변수 접근자 default는 private이다

멤버 변수 접근자 3개(public, private, protected) * 상속 타입 3개(public, private, protected) 총 9개의 조합이 생성된다.    미안하다 복붙한다...ㅜ,ㅜ

Virtual Base classes

다중 상속의 문제점중에 하나가 diamond problem이다. Base class가 두번 호출이 된다.  그때 virtual 사용
virtual function 사용할때 자식 클래스에는 안써도 문제 없지만, 씀으로서 상기시킨다는 의미로 virtual을 쓰는걸 추천한다.  
virtual function에서 파라미터나 리턴 타입이 다르면 의도한대로 동작하지 않는다.

예외적으로 리턴 타입이 자식,부모 관계의 포인터나 레퍼런스라면 동작한다. (value는 안되네요;;)

(실력 부족이 가장 큰 원인이겠지만 C++은 다른 언어보다 알아야할게 너무 많은것같다. 기본만 하고 프로젝트 보면서
하나하나 공부하는걸로~)

CLOCKSYNC

1년전에 JM북에 나온대로 무식하게 풀기로 풀었는데 다른 풀이법을 보니 신기했었다

그걸 지금 정리해본다.  분명히 1년전에는 이해했었는데, 다시 이해하는데 꽤나 버벅거림...;;;

10개의 스위치중에 한개의 스위치로만 시침을 변경할수있는 시계가 존재한다

1번 스위치에 11번 시계가 그렇고, 4번 스위치에 8번 시계가 그렇다

1번이나 4번으로 각각의 시계를 12시로 맞춰놓는다

예를들어 4번 스위치로 8번시계를 12시로 맞춰놓았다고 하면 다음할건 4번 스위치를 제외한 9개의 스위치에서

한개의 스위치로만 변경되는 시계가 있는지 살핀다

2번의 10번 시계가 그렇다

icpc IRC에서 Being님이 설명해준걸 이해한 후에 충격과 공포!!

http://en.wikipedia.org/wiki/Geohash

http://geohash.org/site/tips.html

어느 DB 프로젝트 issue를 보다가 GeoHash dataType 지원할 생각은 없냐는 글을 봤다.

GeoHash? 처음 들어보는 hash다...공부해보자.

공부라고 해봤자 wiki를 내 나름대로 정리하자는 거지 뭐...

GeoHash는 Gustavo Niemeyer가 geohash.org 웹서비스를 개발하면서 위도/경도를 표현하기 위해 
개발한 geocode라고 한다.

좌표 2개를 하나로 표현할수있고, 주변의 Geohash값들은 비슷한 값들이 나와 비교가 쉽다는 장점이 있다.

가까운 두 점이라도 Geohash값은 전혀 다른값이 나올수 있다. 위에서는 비슷하다고 해놓고 전혀 다른 값이 나온다고??

그 이유는 본초 자오선과 적도를 경게로 인접한 지역들은 위도 혹은 경도 값이 크게 달라서 Geohash도 다른 값이 나온다.

예로 적도가 지나가는 인도네시아를 보면 위치는 비슷하지만 Geohash는 전혀 다른 값이 나온다.

※ https://www.movable-type.co.uk/scripts/geohash.html

latitude 위도, longitude 경도

위도는 적도를 기준으로 북 90, 남, 90이라 하고, 경도는 본초자오선(처음들어봄..)을 기준으로
동경 180, 서경 180라 한다.

Equator 적도, meridian 자오선

우선 어떻게 진행되는건지 알아보자

※ 예제는 Wiki에 있는 것이다. https://en.wikipedia.org/wiki/Geohash

ezs42 라는 Geohash 값이 있다고 하면 아래 표의 의해서 

01101 11111 11000 00100 00010 로 표현이 된다.

그럼 가장 왼쪽에 있는 0부터 시작해서 두칸씩 오른쪽 이동하면서 concat하면 011...이 나오고 이 값은 경도,

가장 왼쪽에 있는 0에서 한칸 옆에 있는 1부터 시작해서 두칸씩 오른쪽 이동하면서 concat해서 나온 값은 위도이다.

왼쪽 카드가 위도, 오른쪽 카드가 경도 요런느낌? ㅎㅎㅎ

출처:http://theknaveofclovers.tumblr.com/post/41608490725/card-shuffle

그럼 경도는 0111110000000, 위도는 101111001001 가 된다.

10진수로 변환하고 싶지만 아직 아니다.

왼쪽에서 오른쪽으로 읽어가면서 범위를 좁혀가는 과정을 진행한다.

위도를 예를 들어보자.

1이면 오른쪽, 0이면 왼쪽을 선택해서 범위를 좁혀가는 것이다.

위도는 처음 시작할땐 -90 ~ +90이다. 비트값이 0이면 -90 ~ 0, 1이면 0 ~ +90인것이다.

오른쪽 마지막까지 가면 소숫점 둘째나 셋째에서 반올림해준다.

인코딩은 거꾸로 하면 되겄지요?

https://github.com/lyokato/libgeohash

https://github.com/the42/cartconvert

Go, C로 구현한게 있는데...어렵다. 공부하자

참고로 서울 GeoHash는 wydm99uq이다.

http://geohash.org/wydm99uq

Mac 에서 C/C++ 오픈소스를 좀 보려고 했는데 겪었던 문제들. 새삼 Ubuntu LTS의 소중함을 알았음

1 ArangoDB 컴파일 하는데 자꾸 V8에서 컴파일 에러가 발생했다

unused private field???  아래 설명한 대로 XCode 버젼도 바꿔봤는데 여전히 안되다가 gcc버젼을 4.7로 변경하니

v8 컴파일 성공 :)

https://github.com/cowboyd/libv8/issues/94

sudo port search gcc47, sudo port select --list gcc, sudo port select --set gcc mp-gcc47

2. Eclipse CDT에서 디버깅하면서 소스 좀 보려고 했는데 아래와 같은 메세지 발생

http://stackoverflow.com/questions/19877047/eclipse-gdb-macosx-mavericks

https://sourceware.org/gdb/wiki/BuildingOnDarwin

참고해서 gdb 인증 풀어서 해결. port로 gdb설치하면 ggdb로 실행파일이 생기는건 충격 뭐지...

brew는 /usr/local/Cellar/xxx   port 는 /opt/local/bin/xxx  에 설치가 된다.

인증서 생성방법은
keychain Access.app 실행 후 위쪽 메뉴에서 키체인 접근 -> 인증서 지원 -> 인증서 생성 누른다.
첫 화면에서 이름은 gdb-cert, 신원 유형은 자체 서명 루트, 인증서 유형은 코드서명 마지막으로 기본값 덮어쓰기 click 후
"인증서에 대한 위치 지정"이 나올때까지 계속을 누르고 인증서에 대한 위치 지정은 로그인이 아닌 시스템으로 한다

codesign 등록후 taskgated를 재시작 하라고 하는데 activity Monitor.app 실행 후 taskgated 검색해서 종료하면 재시작 된다.

codesign, keychain access가 있는지도 몰랐고, port, brew 사용법이 어눌해서 삽질했던 시간이었다.

ArrayList, CopyOnWriteArrayList, LinkedList, Vector, CheckedList,

ArrayList

멤버 변수에는 저장된 데이타의 갯수 size와 데이타를 담는(C에서 포인터처럼 가리키는) Object elementData[]가

정의되어 있다.

넉넉하게 elementData를 잡아놨다가 저장 공간이 부족하면 grow를 호출한다.

또한 elementData 중간에 데이타를 추가하거나, 제거할때는 그 뒷부분의 배열을 앞쪽으로 당기거나 뒤쪽으로 미는
동작을 수행한다.        마지막에 위치한  데이타를 삭제하고 추가시 elementData의 이동은 없다.

여기까지가 기본적인 데이타 추가/수정/삭제 얘기고 ArrayList 보면서 재미진 부분에 대해(지극히 주관적입니다;;) 얘기한다.

* removeAll, retailAll method  사실 이런게 있는지 처음 알았다... A.removeAll(B)는 A에 A-B의 데이타가 남고

A.retailAll(B)는 A와 B의 교집합 데이타가 A에 남는다.

* 데이타를 추가/삭제시 modCount++를 수행하는데 그 이유는 writeObject 에 있다.

writeObject 를 보면 Object를 쓰기전에 modCount를 저장해놨다가 쓰기 작업이 완료된 후, 쓰기 작업 중간에
추가/삭제 작업이 진행됐는지 체크한다.

* sublist가 있는데 사용법은 아래 url에 잘 나와있다.

http://stackoverflow.com/questions/6189704/how-to-take-a-valid-sublist-in-java  
전체가 아닌 부분에 대해서만 작업을 하고 싶을때 사용하면 좋다고 한다.

Vector에서 ArrayList와 가장 큰 차이점이 public method들이 synchronized를 사용한다는 점이다. (생성자와 enumeration 제외) 그래서 writeObject에서는 사용하지 않는다.

Stack은 Vector를 상속하고 5개의 method가 추가되었다. LIFO 동작을 위해 필요한 method들이다.
javadoc에서 더 확실한 LIFO를 사용하고싶다면 Deque를 사용하라고 한다.

LinkedList는 배열이 아닌 포인터(이렇게 말해도 되려나..)를 이용해 양방향 링크드 리스트를 구현하였다.

synchronized가 아니고, 다른 자료구조와는 다르게 modCount를 사용하지 않는다. 그래서 writeObject시 쓰는 중간에

추가/수정/삭제가 실행되도 에러가 발생되지 않는다. 

CopyOnWriteArrayList는 ArrayList를 thread-safe하게 만든 자료구조다.
멤버 변수로 ReentrantLock lock을 갖고있고, 추가/수정/삭제시 lock을 건다. 그리고 clone 시에는 얕은복사를 하고,
추가/수정/삭제시에 데이타를 갖고있는 array 복사를 한다.
추가/수정/삭제시 매번 복사가 발생하므로 데이타 변경이 빈번한곳에서는 쓰면 안될것같다.

기초가 많이 부족하다는 것을 느껴서 다시 공부려고 하다가 JCF라는걸 알게되었습니다.

자바는 자료구조가 다 구현되어서 마냥 좋다고 쓰기만 했지 이런게 있는지도 몰랐네요.  

꾸준히 할지는...모르겠지만 한번 다 보도록 몸부림 쳐보려고요 : )   

================================================

java collection framework를 치면 기본적으로 다음과 같은 그림이 나온다.

Map은 Collection과 연관이 없는데 그 이유에  대해서 이렇게 설명하고 있다.

※ Map은 Collection과는 다른 구조이기 때문이다. Collection에는 add(Object o) 함수가 있는데

  Map은 key-value 구조이므로 Collection 인터페이스를 사용할 수 없다.

  그리고 Map은 keySet, valueSet, entrySet함수가 있는데 Collection에는 key-value쌍이 아니기 때문에 사용할 수 없다.

(http://howtodoinjava.com/2013/07/09/useful-java-collection-interview-questions/#why_map_not_extend_collection)

앞으로 Set, List, Queue, Map이 어떻게 구현됐는지 알아본다.

그리고 http://howtodoinjava.com/2013/07/09/useful-java-collection-interview-questions/ 의 질문과 답변들을

소스를 참고하여 알아가면 좋을것 같다.

ref : http://howtodoinjava.com/2013/07/09/useful-java-collection-interview-questions/#what_is_collection_in_java

http://www.cse.ohio-state.edu/software/2231/web-sw2/extras/slides/31.Java-Collections-Framework.pdf

https://plus.google.com/113651422960723550145/posts/ekG7ZiMRLQy

요새 Go 코딩할때 LiteIDE를 사용했는데, 8월 15일. 위 url을 보고 다시 vim으로 변경했습니다.

다양한  vim plugin들을 소개해서 Go를 사용하지 않더라도 알면 좋습니다.(결국 나는 vi를 기본적인것만 사용했다는 결론이...)

위에 있는 명령어를 복붙해서 /usr/local/go 에 Go를 설치합니다.

~/.profile 에 아래 그림처럼 환경 변수를 등록합니다.

source ~/.profile ;  go version  해서 잘 나오면 우선 Go는 설치 끝 ~!!

GOPATH는 workspace 같ᅟ은 개념입니다.  workspace  개념이니까 원하시는 경로를 지정하시면 됩니다.

$GOPATH/bin을 한 이유는 다음에 나올 gocode, goimport를 위해서 입니다.

https://gist.github.com/kgcrom/6266395 에서 go_in_vim_install.sh 파일을 $HOME에 위치시켜서 실행시켜주고

gist의 .vimrc의 내용을 $HOME/.vimrc에 추가합니다.

이젠 맨 위에서 소개한 url을 하나하나 따라 해보는 시간을 갖겠습니다.

1. Go's official vim plugins

Go team에서 제공하는 거라고 하네요. 부분적으로 하는 방법이 있다는데 우선 싹 다~!! ㅋㅋ

Go syntax, indent, doc들을 제공합니다. 궁금한 패키지명 위에 커서를 올려놓고, :Godoc을 실행 하면  문서를 볼 수 있습니다.

혹시나 해서...창간 이동은 Ctrl+w누른 후, 방향키 혹은 h, j, k, l로 하시면 됩니다.

2. NERD tree

vi를 연후 F3을 누르면 왼쪽에 창이 생깁니다.

vi 열때마다 NERDTree를 보고싶다면  ~/.vimrc 에  au VimEnter * NERDTreeToggle 를 추가합니다.

3. Gocode & 7. SuperTab completion

Ctrl 누른상태에서  x o 연속으로 누르면 됩니다.

그런데 굳이 이렇게 안해도 7번때문에 Tab만 눌러도 자동 완성이 됩니다. (꽤 충격 이였음.....)

4. gofmt on save

잘 모릅니다. http://blog.golang.org/go-fmt-your-code, http://golang.org/cmd/gofmt/

두 링크로 언뜻 보면 소스 코드 정리해주는 명령 같습니다.   이건....패스;;

아시는 분은 공유 좀 부탁드려요

5. ctags to jump to declaration

소스가 정의된 곳으로 이동할 때 쓰입니다. 유명하죠 : )

파일을 연 상태에서 :w, :do BufWritePost를 하면 태그를 생성합니다 

 ctrl + ], ctrl + t와 함게 보다 쉽게 소스 작업을 하면 되겠습니다.

(※ http://go-wise.blogspot.kr/2011/09/using-ctags-with-go.html 꼭 참조해서 설정 수정하세요)

6. Type explorer

NERDTree와 비슷하지만 소스의 구조를 보여줍니다.

소스를 연 후, :TagbarToggle

실행하면 됩니다.  gotags를 설치해서 좀 더 이쁘고 자세한 화면을 볼 수있습니다. ㅎㅎ

8. autoclose braces
네, 이름 그대로 에요;;

9. kill ring, the Vim way

Yanks 라고 하는데 Emacs에 대한 경험이 아예 없다보니, 무슨 뜻인지 전혀 모르겠습니다.

삭제나, 복사 한 것들은 레지스터에 저장이 되는데요.   이걸 좀 편하게 하는것 같습니다.

(원래는 :registers, 로 레지스터를 보고 "0p, "1p로 붙여 넣는 작업을 합니다.)

:Yanks 로 현재 어떤 것들이 있는지 보고 Ctrl + p, Ctrl + P를 이용해서(Alt로 하면 된다는데 안되서 nmap사용...)

보다 쉽게 붙여넣기 작업을 할 수 있습니다.

소스 작업하다가 나가서 go build.   오류 나면 또 그 파일 열고 작업 및 저장하고 나가서 go build 반복하신 경험 있을 겁니다.

그걸 간편하게 하는 방법입니다.  ~/.vimrc에 아래 두줄을 추가합니다.

au Filetype go set makeprg=go\ build\ ./...
nmap <F5> :make<CR>:copen<CR>

그리고 소스 작업을 하다가 F5키를 누르면 아래와 같이 됩니다.

커서가 오류 난 화면으로 이동하는데 수정하려는 소스로 위치하고 엔터를 누르면 해당 파일, 해당 라인으로 이동합니다.

수정을 하고 "꼭" 저장을 한 뒤에 다시 오류 화면으로 이동한 뒤 다른 소스로 이동하면서 작업을 해나갑니다.

마지막으로 지금 까지 설치한 vim의 플러그인(?)들의 문서를 보는 방법입니다.

예를들어 NERDTree문서를 보고 싶으면

:Helptags를 입력하고(새로운 플러그인이 설치 될때 refresh 같이 한번만 실행하면 되는것갈습니다. )

:help NERD_tree.txt 하면 볼 수 있습니다.

그 외에도 많은 기능들을 소개했지만, 저의 지식 부족으로 여기까지만 진행하겠습니다.

Go 즐코딩 하세요~ :)

이 기능은 2013년 1월달에 unstable로 merge되었습니다.

https://github.com/antirez/redis/commit/4cdbce341ebff64d392a42011f4a9258f8aa834f#src

처음 시작할때는 2.6으로 했는데 하;;; 시간을 너무 끌었네요. 뭐든지 한번할때 왕창해야겠어요.

간단하게 말하면, 이 기능의 요지는 key가 추가/수정/삭제가 되었을때 이벤트를 잡아서

client한테 알려주는것입니다

슬기로운 antirez는 redis에 있는 기능을 이용해서  간단하게 구현을 했습니다.

이 글을 보시기전에 Pub/Sub을 보시고 오시면 더 좋겠습니다.

key에 대해 이벤트(추가/수정/삭제)가 발생하면, 어떤키인지, 그리고 어떤 이벤트인지 두가지로 나뉩니다.
체널명을

__keyspace@[dbid]__:[key name] [event name], __keyevent@[dbid]__:[event name] [key name] 로 생성합니다.

또 재미있는건 모든 자료구조(+ expire, evicted, generic)마다 flag를 두었다는 점입니다.
redis.conf를 보면 아래 flag가 있습니다

K, E는 위에서 말한 두가지이고, 'g$lshzxeA' 문자열을 가지고 골라먹는 재미가있습니다.

[K | E | KE][g, $, L, s, h, z, x, e | A]

하나 의문점이 드는게 있습니다. g의 expire와 x의 expire는 왜 두개나 있지? hdel을 하면 g에 걸리는거여,
h에 걸리는거여?  등 중복될것같은 생각이 들었습니다.

코드를 보면, expire명령어를 실행하면 g, expire가 되서 key가 지워지면 x,

hash에 item이 지워지면 h, db의 key자체가 지워지면 g입니다.

그리고 redis.io에서 얘기한게, 있지도 않은 키에대한 수정/삭제는 이벤트가 발생하지 않습니다.

key가 추가/수정/삭제시 위의 flag랑 이벤트명, key명을 가지고 호출하는 함수는 notifyKeyspaceEvent 입니다.

자 이젠 이 알람을 subscribe하면 됩니다
redis.io 문서에서는 아래와 같이 하라고 합니다.

$ redis-cli config set notify-keyspace-events KEA
$ redis-cli --csv psubscribe '__key*__:*'
Reading messages... (press Ctrl-C to quit)
"psubscribe","__key*__:*",1

성능은.....아무래도 느려지긴 할것 같습니다. 특히 __key*__:* 가......덜덜

JM북과 함께 PS의 재미를 알게되고 삼주전? 부터인가 topcoder의 재미를 알게되었습니다.

지금까지는 그냥 단순한 알고리즘 이해 수준에 머물렀다면 앞으로는 PS를 많이 경험할 생각입니다.

topcoder를 재미를 알게된 3주전부터 C++를 하고 다른사람의 C++소스도 보고 있는데

C랑 비슷하면서도 많이 틀린...그런 오묘한 기분이네요.

C++공부하면서 STL도 써볼겸  NQUEEN 문제를 풀어봤습니다.

뭐 돌아가긴 가는데..........실행시간이........안습...ㅠ,ㅠ.

결국은 pan[MAX_N][MAX_N]으로해서 걸리나 안걸리나 check하면서 풀었다. ; ) 아 재미져
제출하고 다른 사람소스 보니....흠....미친듯이 공부해야겠구나

팀내 과장님을 통해 루씬 4.1이 나온 걸 알았습니다.

이번 기회에 미루고 미루던 루씬이 내부적으로 어떻게 구성되는지 보려고 (아는 게 없으니, 무작정 해 보자라는 마음으로) 

이클립스에 import 하려고 했습니다.

http://softwaregeeks.org/2012/10/30/how-to-import-lucene40-in-eclipse/  링크처럼 진행 했는데,
제가 뭘 잘못 건드렸는지는 모르겠지만 아래와 같은 오류가 발생 했습니다.  

(ant ivy-bootstrap resolve 까지 진행한 상태, ant 설정은 위 url 참고.)

이 글을 위의 화면 처럼 나오는 분들께 바칩니다. ㅎㅎ

우선  New -> Java Project 에서 lucene이라고 프로젝트를 하나 만듭니다.

그 다음 lucene 폴더에서 우 클릭을 누르고 import -> File System,   과감히 lucene-4.1.0을  선택합니다.

그럼 왼쪽 그림 처럼 프로젝트가 구성됩니다.

우선 lucene core를 보는게 목적 이었기때문에  

core -> src -> java 에서  Build Path -> Use as Source Folder

core -> src -> test 에서  Use as Source Folder

테스트에서 빨강색이 왕창 떠서 가봤더니

test-framework, codec이 없다고 난리

test-framework -> src -> java Use as Source Folder

codecs-> src -> java       Use as Source Folder

그리고 test-framework -> lib에 있는 library들을 빌드에 추가 시킵니다.

ant-1.8.2.jar, junit-4.10.jar, junit4-ant-2.0.8.jar, randomizedtesting-runner-2.0.8.jar

Build Path -> Add to Build Path

여기까지 했으면 빨강색은 뜨지 않습니다.

TestIndexWriter.java로 가서 테스트 유닛을 돌려봅니다.    vm Argument 에 -ea 인자 주라고 합니다.

가볍게 추가해주고 다시 실행~!!

에러보기

멘붕입니다.

더 멘붕인건 ant test로 하면되는데, eclipse에서 테스트하면 안되는게.....역시 얕은 지식으로는 한계가 금방 나타납니다.

이것 때문에 루씬 재설치를 수차례, 혹시나해서 library 받은거 지우기도 했는데 안됩니다.......;;

trace에 찍힌 소스들 들어가서 보지만, 뭔소린지.......

이것저것 해보다가 포기상태있을 때, 뭔 에런가.....하고 한줄한줄 읽어봤습니다.

"Caused by: java.lang.IllegalArgumentException: A SPI class of type org.apache.lucene.codecs.Codec with name 'Lucene41' does not exist. You need to add the corresponding JAR file supporting this SPI to your classpath.The current classpath supports the following names: []"

You need to add the corresponding JAR..You need to add the corresponding JAR..You need to add the corresponding JAR......You need to add the corresponding JAR........You need to add the corresponding JAR

혹시나 해서 lucene/core, lucene/codecs, lucene/test-framework에서

build를 해서(폴더 이동후 ant만 실행해주면 만들어줘요) jar 파일을 만든 후에 추가했습니다.  (jar는 lucene/build에 폴더별)

다시 TestIndexWriter.java Junit 궈궈 ~~~~~~~~~~~~~~  

잘됩니다. : )

도움이 되셨으면 좋겠습니다.

더불어 루씬 소스 보신 분들의 조언, 함께 하시고 싶은 분들 알려주세요~~

제가 백지부터 시작 하는 거라 함께 백지에 글 써 가듯이.....: )

※교훈 : 에러 로그를 잘 보자. 영어를 공부하자. 응? ㅋㅋㅋ

Redis의 aof에서  fork하는 부분이 있습니다.

구글한테 물어보니 다음과 같은 모드가 있었네요.

set follow-fork-mode mode

Set the debugger response to a program call of fork or vfork. A call to fork or vfork creates a new process. The mode can be:

parent

The original process is debugged after a fork. The child process runs unimpeded. This is the default.

child

The new process is debugged after a fork. The parent process runs unimpeded.

ask

The debugger will ask for one of the above choices.

show follow-fork-mode

Display the current debugger response to a fork or vfork call.

동시에 두개를 볼 수 는 없나봅니다.(child / parent) 생각해보니 두개 동시에 보면 디버깅 하는 입장에서 더 괴롭겠어요 ㅋㅋ

혹시 동시에 두개 하는 방법이 있나요?

부지런히 코드 타이핑해서 생각한걸 코드로 뚝딱뚝딱 만들 수 있는 날이 왔으면 좋겠습니다 : )

GDB모드 원문 url : http://sunsite.ualberta.ca/Documentation/Gnu/gdb-5.0/html_node/gdb_25.html

Slowlog는 지정한 시간이 넘어서는 command를 기록해서 나중에 관리차원에서 볼수있게 해줍니다.

설정으로 slowlog-log-slower-than, slowlog-max-len을 설정합니다.

slowlog-log-slower-than는 microseconds단위로써,
지정한 시간보다 느린 command를 기록합니다. threshold같은거죠.음수로 지정하면 slowlog를 사용하지 않고,
0으로 하면 모든 command를 기록합니다.

slowlog는 list 자료구조에 저장하는데, 이 List의 최대 크기를 지정하는 설정이 slowlog-max-len 입니다.
(검색하면서 알았는데, MySQL Slow Query log 란게 있었네요.

이젠 소스 분석하는만큼 직접 만들어보는것도 시간을 쏟아야겠어요 /엉엉/)

slowlog.c는 slowlogEntry를 만드는 slowlogCreateEntry, 해제하는 slowlogFreeentry,

server start할때 server.slowlog 초기화해주는 slowlogInit,

그리고 실제 slowlog-log-slower-than 이상 걸리는 명령어에 대해 로그를 저장하는 slowlogPushEntryIfNeeded

"slowlog reset" 를 담당하는 slowlogReset, 마지막으로 저장되어있는 slowlog의 정보를 볼수 있는

slowlogCommand 함수가 있습니다.

알아볼건, slowlogPushEntryIfNeeded입니다. 그리고 마지막으로 실제 해보고 slowlog를 마치겠스니다.

slowlogCommand도 후보였는데, 'slowlogEntry, length를 보고, slowlog를 reset하는 기능이다' 이게 끝이라;;;

slowlogPushIfNeeded 함수는 먼저 server.slowlog_log_slower_than이 음수면 return입니다.

그리고 command의 duration이 설정한 값보다 크면 그때 slowlogEntry를 만들어서

server.slowlog에 add해줍니다. 

argc, argv가 있는데 어간 redisClient 명령어 argument입니다. 또 인자의 갯수가 너무 많을수도 있는걸

고려해서 최대 32개의 인자만 저장하도록 되어있습니다.

마지막으로 server.slowlog-max-len이 server.slowlog의 max_length먄큼의 크기를 유지하는 작업을 합니다.

각 명령어마다 총 4개의 설명이 나옵니다.

1)은 server.slowlog_entry_id로서 slowlog_entry별 고유값입니다.

2)는 명령어가 실행한 unix timestamp

3)은 명령어가 실행하는데 걸린 시간, 단위는 microseconds입니다.

4)는 실제 명령어가 저장됩니다.

http://garantiadata.com/blog/enhancing-redis-slow-log#.URRHvdFx50w

그리고 오른쪽 "Don't let Redis scalability limitations turn into business limitations." 

동영상이 있는데 참 재미있게 만들었습니다.

물론 속도가 빠르고, 다양한 기능이 있는것도 중요하지만, 관리하는것도 그만큼 중요하다는 것을 다시한번 느낍니다.