[객석]빅 데이터의 원조는 기상청- 주상원 기상청 수치자료응용과장

2012년 다보스포럼(Davos Forum)에서 주목해야 할 기술의 첫 번째로 ‘빅 데이터(big data)’를 선정했다.

빅 데이터는 소셜 미디어의 발달과 스마트폰 사용의 대중화 등의 이유로 최근 매우 빠른 속도로 그 양이 증가하고 있는 디지털 데이터이다. 싸이월드에 올린 사진, 카카오톡으로 주고받은 메시지, 또 신용카드로 구매한 물품 내역과 CCTV 영상 등 다양한 형태의 디지털 데이터가 바로 빅 데이터이다.

빅 데이터에는 사람들의 일상생활에 대한 매우 많은 자료가 담겨져 있다. 때문에 많은 기업들은 빅 데이터 분석 결과를 마케팅에 활용하고 있다.

21세기의 원유(原油)라고 일컫는 빅 데이터를 분석하는 것은 쉽지 않다. 한꺼번에 많은 양의 자료를 저장하고, 필요한 내용을 검색하며, 자료들 간의 상관관계를 분석해 유용한 정보를 생산하는 것은 많은 전산자원과 시간을 필요로 한다.

그러나 기상청은 이미 오래전부터 빅 데이터 분석을 위한 많은 기술을 보유하고 있으며, 이를 실제 업무에 활용하고 있다. 또한 전 세계에서 생산된 관측 빅 데이터를 신속하게 수집하는 시스템을 효율적으로 운영하고 있다. 이를 통해 얻어진 빅 데이터를 여러 가지 품질검사 알고리즘을 활용하여 고품질의 데이터를 생산한 후에 슈퍼컴퓨터와 통계 분석방법 등을 이용, 지구 대기의 상태에 대한 정보를 생산한다.

기상청은 북극과 남극의 바닷속, 그리고 하늘 끝인 우주에서부터 관측된 엄청난 양의 빅 데이터를 실시간 수집해서, 예보관들에게 불과 5~6시간 만에 그 결과를 보여주는 일련의 작업을 매일 4차례 이상 수행하고 있다. 기상청은 빅 데이터의 수집, 보관, 품질검사, 분석, 수치모델을 이용한 미래 예측뿐 아니라, 그 결과의 그래픽 표출과 오차의 통계적 분석을 위한 최첨단 기술도 모두 보유하고 있다. 따라서 기상청을 ‘빅 데이터의 원조’라고 하는 것은 결코 과장이 아니다.

기상청에서 보유한 빅 데이터 관련 기술을 다른 빅 데이터 분석에 활용한다면, 그 경제적 가치는 매우 클 것이다. 현 정부가 추진하는 창조경제에 빅 데이터 처리기술을 새로 개발하기보다는, 기상청이 이미 보유하고 있는 빅 데이터 처리기술을 벤치마킹할 필요가 있다.