Data scientist = UNICORN?!

  무척이나 덥던 올 여름은 지나갔지만, 데이터 사이언티스트(Data scientist)에 대한 열기는 아직 뜨겁다. 이미 많은 회사들이 데이터 사이언티스트들로 인해 엄청난 수익을 올렸고, 지금은 더 많은 회사들이 이들을 고용하기 위해서 노력하고 있다. 하지만, 데이터 사이언티스트 고용은 커녕 찾는 것 조차 만만치 않아 일부에서는 이들을 전설의 동물, 유니콘이 아니냐는 소문이 떠돌고 있다. 

데이터 사이언티스트, 그들은 진짜 유니콘인가?

앞선 포스팅에서 데이터 사이언스를 하기 위한 필요한 스킬들을 정리했었다. 다시 간단히 요약하자면, 수학과 통계는 물론, 컴퓨터 공학에 대한 지식도 튼튼해야 한다. 거기에 자신만이 분야 전문성을 바탕으로 리서치와 소프트웨어 엔지니어링, 머신러닝까지 할 수 있는 능력을 겸비해야 한다. 많은 회사들은 데이터 사이언티스트 한 사람이 이 모든 스킬들을 보유하고 일을 처리해주기를 바란다. 하지만, 이는 사실상 거의 불가능하고, 이들을 우리는 소위 유니콘이라고 부른다. 다음 이미지는 유니콘들을 채용하기 위한 가상의 채용공고이다. 

보다시피 엄청난 스킬셋이 요구되긴 하지만, 아예 불가능한 것은 아니다. 이런 모든 스킬을 가지고 일을 해줄 수 있는 데이터 사이언티스트들도 이 세상에 분명 존재한다. 다만, 그들은 이미 다른 곳에서 엄청난 보수를 받으며 일하고 있거나 본인이 관심이 가는 프로젝트만 맡아서 일하고 싶어한다. 따라서 저 스킬들을 동시에 보유하고 있는 유니콘을 찾기 보다는 각각의 스킬을 보유하고 있는 사람들을 채용해 하나의 팀을 구성하는 편이 훨씬 더 현실적이다. 팀을 구성하기 위해서는 데이터 사이언티스트의 역할을 나눠볼 필요가 있다. 이는 크게 두가지로 나뉜다. 

데이터 사이언티스트(Data scientist)와 데이터 엔지니어(Data engineer)다. 

데이터 사이언티스트

데이터 사이언티스트는 데이터로부터 안식(眼識, insight)를 이끌어낸다. 데이터 사이언티스트는 데이터를 뽑아내고 새로운 모델이나 데이터 상품을 만들며 이야기를 이끌어낸다. 기본적으로 고객이나 기업 간부들과 부딪히는 일이 많으며, 데이터 집합을 이들이 좀더 이해하기 쉽도록 다듬는 역할을 한다. 데이터 사이언티스트들의 최종 목표는 데이터 상품을 만드어네 데이터의 이야기를 하는 것이다. 따라서 이들은 데이터 엔지니어들보다 통계와 프레젠테이션 능력에 있어 강점을 보인다.

데이터 엔지니어

데이터 엔지니어들은 데이터르 모으고 개선하는 시스템에 더 신경을 쓴다. 데이터 엔지니어는 요구를 적절하게 수행할 수 있는 저장 시스템을 만들고 효율적으로 사용하게 해준다. 때론 그 요구가 실시간으로 들어오는 데이터 스트림일 수도 있고, 엄청난 양의 비디오 파일이 될 수도 있다. 즉, 데이터 엔지니어들은 소위 3V라 불리는 빅 데이터를 다룰 수 있는 시스템을 만들어야 한다. 이들의 목표는 데이터를 적절히 저장함은 물론, 데이터 사이언티스트나 이를 사용해야하는 사람들이 이용할 수 있게끔  준비하는 것이다. 따라서 소프트웨어 엔지니어링과 프로그래밍 능력이 뛰어나야 한다. 

**3V : Velocity(속력), Variety(다양성), Volume(양)

결론

여전히 데이터 사이언티스트와 데이터 엔지니어를 칼같이 구별할 수는 없다. 하지만 이런 식으로 역할을 나누어 팀을 구성하고 이를 바탕으로 팀워크가 잘 이루어진다면, 이들은 한 명의 유니콘만큼 혹은 더 우수한 실적을 낼 것이다. 또한 데이터 사이언티스트를 꿈꾸는 사람들 역시 처음부터 유니콘이 되기를 희망하기보다는 지금 자신의 역량이 엔지니어 쪽에 가까운지 분석 쪽에 가까운지를 따져서 그 분야의 스킬을 완전히 익히는 것을 우선해야 할 것이다. 그런 다음 팀을 구성해 활동을 하며, 유니콘이 되기 위한 스킬을 연마해도 늦지 않다.