Page 205 - 데이터과학 무엇을 하는가? 전자책

그 결과를 중간 작업을 한 내용과 함께 오프라인 데이터 저장소에 저장
한다. 온라인, 오프라인 그리고 준실시간 프로세스는 따로 분리 서 작

업을 하는 것이 아니다. 반드시 서로 조화롭게 통합 운영되어야 한다.

오프라인에서 하는 분석 모델 생성 작업과 결과 데이터 작업을 위한

데이터 전처리는 주로 리로 작업하는데, 이 작업은 데이터가 대용량이
라 하둡에서 하이브(Hive)나 피그(Pig)로 작업한다. 또 오프라인에서는 분

석 모델을 통해서 산출된 결과 데이터가 완성되면 그 사실을 준실시간

프로세스에 알리는 작업과 함께 데이터 작업 중 발생한 오류나 경고 메

시지를 검토하기도 한다. 넷플 스에서는 이 오프라인 플랫폼을 허미스
(Hermes)라 명했다.

온라인이든 오프라인이든 알고리즘을 계산할 때는 분석 모델, 데이터

시그 & 분석

오프 인 데이터

플 스 미스

오프 인 계산
기계학습
고리
시간 계산
인 계산
기계학습
신 들
인 서비스 고리
출처 : 넷플 스 로그 페이지

203