5년차 데이터사이언티스트의 회고

한때 어느 매체에서 21세기 가장 섹시한 직업으로 데이터사이언티스트가 선정되었다는 이야기를 들었던 기억이 있다.
그런데 지금 '데이터 사이언티스트'를 검색해보면 '하지마세요'라는 말이 제일 위에 뜨는것을 보니 많이들 힘들었나보다.

 

우리가(사실은 내가) 힘든 이유는 사실 데이터사이언티스트가 성과를 만들어내려면 생각보다 고려할게 훨씬 많다는 것이다.

"방대한 양의 데이터 분석해서요,, 수학적 통계적 지식을 활용해,, 머신러닝이 좋은 결과를 냈습니다!"
했을때 "그래서 어떻게 하라는거죠?" 라고 되물어주면 감사한거고, "네, 잘들었습니다" 하고 끝나버리면 망했다고 보면 된다.

 

그렇다면 어떻게 해야할까?
데이터사이언티스트는 어떤 관점에서 문제를 풀어야 할까?

첫째, 모델이 아닌 시스템을 설계해야한다.
생산 라인에서 불량 탐지 알고리즘 개발했었을때다. 꽤나 방대한 데이터셋을 받아서 와 이정도면 진짜 거의 모든 케이스를 커버할수 있겠다 생각했고 개발한 모델 성능도 충분했다. 그런데 결과물을 들고 찾아갔을때 "AI 성능이 좋은건 알겠다. 그런데 만약 1건이라도 불량이 나가면 당신이 책임질수 있습니까?"라는 피드백을 듣는 순간 나의 컨셉 잘못되었음을 깨달았다. 모델의 정확도, 재현율, 정밀도 그 어떤 수치를 가져와도 이 질문에는 답이 되지 않는다. 내가 풀고 있던 문제의 본질은 모델 성능이 아니라, 책임의 구조였던 것이다. 그래서 접근을 바꿨다. AI가 대신 판단하는 구조가 아니라, 사람이 더 잘 판단하도록 돕는 구조로. 데이터 사이언티스트는 모델이 현실에서 작동할 수 있는 시스템을 설계하는 사람이여야 했다.

둘째, Bussiness Impact를 중심으로 문제를 풀어야한다.
많은 데이터사이언티스트들이 여전히 기술에 집중한다. 최신 모델을 쓰고, 복잡한 구조를 적용하면 더 잘한 것처럼 보이기 때문이다. 나 역시 그랬다. 그런데 여러 프로젝트를 하다보니 그건 대부분 자기 만족에 가까웠다.결국 중요한 것은 이 프로젝트가 얼마의 가치를 만들어 내는가가 중요하다. 그래서 문제를 모델이 아니라 목적함수(objective function) 최적화에서 시작되어야한다. 정확도가 아니라 돈을 기준으로.

예를 들어 수요 예측을 한다고 하자. Transformer가 일 단위 예측에서 더 정확할 수 있지만 실제 의사결정이 월단위로 이루어진다면 월 단위 정확도는 거의 의미가 없다. 이 경우에는 단순한 ARIMA가 더 나을 수 도 있다. 모델이 더 단순해서가 아니라, 비즈니스 의사결정 구조에 더 맞기 때문이다. 오히려 검증해야할 부분은 모델의 정확도가 아니라, 예측값을 어떻게 발주와 재고로 연결할 것인가? 평가 단위는 월이 맞는가, 분기가 맞는가? 어떤 의사결정을 해야 돈을 더벌수있는가이다. 결국 데이터사이언스는 모델을 잘 고르는 일이 아니라 비즈니스가 운영되는 방식에 맞게 문제를 다시 정의하는 일이다.