티스토리 뷰
지인들과 발표를 했었던 열린세미나 100'C에서 발표했던 자료를 공유합니다.
참고로 열린세미나 100'C는 저와 NRISE의 CTO인 문수형님을 주축으로 하는 IT관련 작은 세미나입니다.
지인위주로 참여하고 있지만, 외부에도 열려있습니다. ^^
우선 제가 발표했던 자료를 이곳 블로그에도 링크 걸어봅니다.
1. 하둡, 좋은 약지만 만병통치약은 아니다 -정민철-
제가 처음 발표했던 발표 자료입니다.
제가 말하고 싶었던 내용은 빅데이터라는 용어가 나오면서 하둡이라는 제품이 너무 만능으로 생각하고 있는 사람이 너무 많은것 같은 느낌이었습니다.
아마, 하둡을 언급할때 단점이나 용도보다는 장점을 부각하다보니 나오는 문제가 아닐까 생각되네요.
아무튼, 제가 실무로 하둡을 사용하면서 느꼈던 내용을 전달하고 싶어서 만들었던 발표 자료였습니다.
2. Unique Count 집계하기 -정민철-
두번째 발표할때 제 발표주제였는데, 처음에 하둡의 한계점을 이야기 하면서 UC에 대한것도 이야기 하고 싶었습니다.
단순 sum이 아니다보니 해당 값에 대한 상태를 유지해야 하고 이런게 대용량일때 어떻게 해야 하는가에 대한 약간의 실마리(?)가 되면 좋겠네요.
하둡과 map작업과 연계해서 하는 실예를 다뤘는데, 일단 레디스는 싱글쓰레드라 하둡에서 분산처리된 데이터가 일시적으로 몰리면 처리속도가 저하되는 문제를 잠깐 이야기 하고 (정확히는 문수형님이 보조설명) 그런 내용을 다뤘고,
Set 자료구조의 장단점과 나눠서 처리하는 내용에 대해 다뤘던 내용이긴 합니다.
참고로 3회 오픈세미나도 2014년 11월중 계획 되어있으니 참고해주세요.
