MapReduce Architecture

MapReduce Architecture

일반적으로 코딩을 처음 시작할때 우리는 “Hello world” 를 접해봤을 것이다.
그렇다면 데이터 분야의 “Hello World” 는 MapReduce Architecture 의 이해라고 할수있다.
그 예시로 Word count 를 해보자.

진행순서

1. Mapping

line 또는 구분자로 Split 데이터를 key : value 형태로 mapper 에 add 시킨다. 여기서 key 는 split 데이터 이고 값은 1 고정이다

2. Shuffing

동일한 key 로 분기처리한다.

3. Sorting

분기처리된 key를 list 로 만든다.

4. Reducing

돌일한 key를 count하고 값을 ++1 시킨다