Page 152 - 데이터과학 무엇을 하는가? 전자책

추는 프로젝트를 크 오브 아메리카로부터 수주했고, 필자는 이 에
합류하게 되었다. 당시 은행의 정형 빅데이터 문제는 액시엄에게 엄청

난 도전이었다. 메인 프레임에서도 결과 분석을 위한 프로그 실행 시

간(Run Time)만 거의 일주일이 걸리는 마당에 데이터베이스 서버에서 바

로 보고서를 작성해야만 했으니 아무리 정제된 데이터만 탑재하고 있다
해도 무리였다. 결국 개발 만으로는 대용량 데이터 처리와 속도 문제를

해결할 수 없어서 액시엄 본사 기술 의 지원을 받게 되었다. 이 작업은

필자가 접한 최초의 정형 빅데이터 작업이었다. 이후 본사 기술 의 투

입으로 데이터는 분산 처리하여 가공하고 여러 곳에 분산 저장된 데이터
를 가상 서버로 올리는 방식으로 해결책을 마련하였다.

90년 말부터 액시엄 본사 기술 에는 이미 대
▶액시엄의 데이터 공학자
은 오피스( -O i e,
용량 데이터를 효율적으로 가공하도록 는 데
- n )에 소속되어 데
이터 플랫폼 차원에서 데이 이터 공학자들만의 이 있었다. 이들은 주로 대
터 처리 과정에 관여하며 데
이터 처리의 속도나 크기를 용량 데이터 처리와 속도 문제에 관여하며 전사
적으로 운영하는 을 담
당하는 기술자인 동시에 개 데이터 프로세스의 효율을 전 하는 전략적
발 전문가 이다.
이었다.

용 이 , 이 을 이 마
인의 를 인다

크 오브 아메리카의 금융 성과 분석 보고서 프로젝트에 이

어서 한 작업은, 통계 모델을 개발하는 작업이었다. 은행은 위험 관리와

150