[빅데이터 직무에 관한 고찰] 너가 희망하는 멋있는 데이터 분석가는 회사에 없다.

안녕하세요, 데이터 조물주 용가리입니다.

 

오늘은 최근 모든 회사에서 주목하고 있는 '빅데이터' 직무에 관해 제가 체험해보며 느낀 점을 얘기해보려고 합니다.

 

4차 산업혁명이 하나의 '밈'이 되어버리면서 이를 이루는 근간인 '빅데이터'가 학계뿐만 아니라 일반인들도 어느 정도 그 뜻을 이해하고 있는 유명한 키워드가 되기 시작했습니다. 

 

'빅데이터'는 기존 저장장치로는 해결할 수 없는 정말 방대한 양의 데이터이며, 새로운 인사이트를 발견할 수 있는 금광입니다. 내가 하루동안 했던 모든 일들이 데이터로 기록되고, 그 데이터는 데이터를 필요로 하는 공공기관이나 회사에 전달됩니다. 사람의 행동 패턴뿐만이 아닙니다. 공정의 제조 데이터, 금융 데이터, 회사 매출 데이터, 소셜 버즈 데이터 등 데이터의 형태는 매우 다양합니다.

 

요즘 지겹도록 듣는 빅데이터

 

그래서 이에 따라 데이터를 분석하는 방법론도 정말 다양합니다. 회귀분석, 연관 규칙 분석, 군집분석, 의사결정나무, 랜덤포레스트, 인공신경망, 딥러닝 등이 있습니다. 

 

그런데 이러한 다양한 분석 방법론들을 통계를 잘 모르는 일반인들에게 알려주기에는 정말 오랜 시간이 걸릴 것입니다. 바로 이 포인트에서 많은 회사들의 난감한 상황이 연출됩니다. 회사 입장에서 소비자 혹은 클라이언트가 필요로 하는 서비스를 제공하기 위해서는 질 좋은 빅데이터를 수집해야하고 그 빅데이터를 분석할 수 있는 전문 인력이 필요할 것입니다.

 

그런데 기존의 사원들을 모두 데이터 교육을 시켜 양성하자니 발생할 비용과 시간이 너무 큽니다. 그래서 회사는 다음 전략으로 급하게 데이터를 다룰 수 있는 '경력직'을 뽑기 시작합니다. 그런데 과연 빅데이터 분석 방법론을 잘 이해하고 있고 코딩도 잘하는 전문 인력이 우리 나라에 얼마나 있을까요? 회사 경력직뿐만 아니라 데이터 관련 박사 과정을 하고 있는 사람들을 포함해도 많지 않을 것입니다. 

 

그 조건을 만족하는 데이터 사이언티스트들은 본인들의 몸값을 인정해주는 좋은 곳으로 이미 떠났을 겁니다. 결국 회사는 꼭 필요한 데이터 사이언티스트를 몇 명 구하지도 못한채 급하게 빅데이터 분석팀 2~ 3개를 꾸립니다 (회사마다 이름은 조금씩 다를겁니다). 

 

급하게 꾸린 빅데이터 분석팀

 

그러면 저 빅데이터 분석팀에 있는 사람들은 모두 전문적인 데이터 사이언티스트로만 구성되어 있을까요? 아닙니다. 데이터 사이언티스트 하나, 엑셀과 SQL 정도 잘 다루는 기존 사원 몇 명으로 이루어져있습니다. 물론 이 기존 사원들은 데이터 분석 방법론이나 분석 툴 코딩을 하나도 모릅니다. 대신 이들에게는 회사에서 관련 교육을 지원 해주죠.

 

전문적인 연구 인력이 있는 R&D 센터는 이야기가 다르겠지만, 전방 협업 인력은 이게 현실입니다.

 

이름은 '빅데이터 분석팀'이라 해놓은 채로, 그 방대한 양의 빅데이터를 몇 명이 나눠서 엑셀로 수작업하는 것이 제가 겪은 회사의 상황입니다. R&D 전문 인력의 자체 분석 솔루션 개발, 구글 애널리틱스나 페이스북 분석 플랫폼에 많이 의존하고 있습니다.

 

채용, 교육 인프라를 잘 구축한 대기업은 다를 것이다? 아니요... 제가 빅데이터 직무로 인턴했던 두 곳 모두 우리나라 10대 대기업이었습니다. 대기업이 이런 상황이었는데, 이보다 작은 규모의 기업들은 말할 것도 없겠죠.

 

요즘 '빅데이터'가 뜨기 시작하면서 회사들이 너나할것없이 '빅데이터' 직무 관련 신입사원 채용을 하고 있습니다. 그리고 우리 취준생 여러분들은 '데이터 분석가'라는 큰 꿈을 품고 회사에 지원하겠죠.

 

요즘 '빅데이터' 직무를 안뽑는 회사를 더 찾기 힘들다.

 

만약 본인이 데이터 관련 학사 수준 전공이다! 혹은 관련 없는 학과지만 데이터 분석 툴을 다룰 줄 안다! 라고 하신다면 회사에 지원하실 때 내가 대단한 데이터 분석을 할 것이라 기대하고 지원하지는 않는 것이 마음 건강에 좋다고 말씀드리고 싶습니다. 

 

정말 어렵게 높은 경쟁률을 뚫고 신입사원이 되어 '빅데이터' 직무를 부여받아도 당신을 가르쳐 줄 '데이터 전문가' 사수는 없거나 당신을 도와줄 시간이 없을 확률이 높습니다. 본인이 스스로 헤쳐나가야 되고, 현업에서 필요로 하는 존재가 되기 위해 혼자서 자기계발을 열심히 해야한다는 것을 잊지마시길 바랍니다.

 

혹은 더 전문적인 데이터 사이언티스트가 되고 싶고, 전문가가 되고 싶다면 대학원에 진학해 빅데이터/AI 관련 석박사 통합과정을 밟는 것을 추천드립니다.

 

오늘은 여기까지 글을 쓰고 마치겠습니다!

 

문의사항은 ykdatalab@gmail.com 으로 메일 주세요 :)