전체 글
-
5년차 데이터사이언티스트의 회고카테고리 없음 2026. 5. 18. 17:41
한때 어느 매체에서 21세기 가장 섹시한 직업으로 데이터사이언티스트가 선정되었다는 이야기를 들었던 기억이 있다.그런데 지금 '데이터 사이언티스트'를 검색해보면 '하지마세요'라는 말이 제일 위에 뜨는것을 보니 많이들 힘들었나보다. 우리가(사실은 내가) 힘든 이유는 사실 데이터사이언티스트가 성과를 만들어내려면 생각보다 고려할게 훨씬 많다는 것이다."방대한 양의 데이터 분석해서요,, 수학적 통계적 지식을 활용해,, 머신러닝이 좋은 결과를 냈습니다!"했을때 "그래서 어떻게 하라는거죠?" 라고 되물어주면 감사한거고, "네, 잘들었습니다" 하고 끝나버리면 망했다고 보면 된다. 그렇다면 어떻게 해야할까?데이터사이언티스트는 어떤 관점에서 문제를 풀어야 할까?첫째, 모델이 아닌 시스템을 설계해야한다.생산 라인에서 불량 ..
-
[Time Series Decomposition] Classical decompositionData analysis/Time series 2021. 12. 6. 16:47
시계열의 관측 기간(seasonal periond)을 m 이라 정의하지. 예를 들어, 관측기간 기준이 분기이고 1년을 관측했으면 m=4, 관측기간 기준이 월(monthly data)이고 1년을 관측했으면 m = 12, 관측기간 기준이 일(daily)이고 일주일을 관측했으면 m = 7인 것이다. classical decompostion에는 additive model과 multiplicative model이 존재하는데 두 모델의 차이는 seasonality를 보는 관점에 있다. additivie model을 seasonality의 주기가 일정함을 가정하고, multiplicative model에서는 주기가 변할 수 있다. 즉, m값이 변하게 되는데 이때 m을 seasonal indices라고 정의한다. 1...
-
[ML] Parametric model vs Non-parametric modelMachine Learning/용어 2021. 11. 30. 13:24
Parametric model : the model has fixed number of parameters 고정된 개수의 파라미터들을 학습한다. flexibility 낮음 Ex) Linear regression, Logistic regression, Bayesian inference, Neural network(CNN, RNN)등 Non-parmetric model : the number of parameters grow with the amount of training data Ex) Decision tree, K-means clustering 등
-
Back testingData analysis/Time series 2021. 11. 24. 11:09
시계열 데이터를 split 하는 방법론으로 backtesting이 있다. Backtesting의 방법론으로 크게 두 가지 방법이 있는데 1. Backtesting with expanding windodw -> 과거 특정 시점에서 부터 training set의 크기를 늘려가는 방법 2. Backtesting wit sliding window -> training set의 크기를 일정하게 유지하면서 시작 시점을 이동시켜 가는 방법 자신이 분석하고자 하는 time series data의 trend를 살펴보고 이에 맞게 적절한 방법론을 활용하면 된다.
-
[ML] Inference vs predictionMachine Learning/용어 2021. 11. 22. 16:33
Inference : 변수가 결과에 미치는 영향에 관심이 있음 -> 모델의 설명력을 위해 변수를 추가하거나 제거 prediction : 결과 값이 얼마나 잘 나오는지에 관심이 있음 -> 결과의 정확도를 높이기위해 모델을 바꿀수 있음 예시 1. For example, in a real estate setting, one may seek to relate values of homes to inputs such as crime rate, zoning, distance from a river, air quality, schools, income level of community, size of houses, and so forth. In this case one might be interested in how ..
-
[RL] Toward optimal assembly line order sequencing with reinforcement learning a case study(2020)Scheduling/Paper 2021. 4. 19. 09:49
논문/사례 제목 출간년도 저자 Toward optimal assembly line order sequencing with reinforcement learning a case study 2020 Saad Shafiq 외 3명 요약 강화학습을 이용하여 assembly line의 minimum output을 보장하는 order sequence를 찾는 방법 사용 방법론 실험결과
-
[RL] Value-based algorithm VS Policy-based algorithmScheduling/Paper 2021. 4. 19. 09:46
Topic Value-based algorithm과 policy-base algorithm 비교 Description -Value-based Goal : maximize state-value function(expected return for each state s_t) → action value function을 maximize 하는 policy P(s_t |a_t)를 도출하여 Goal 달성 → action이 Q-function을 최대로 하는 a_t^∗로 deterministic로 결정 → ε-greedy을 이용하여 탐색 영역 확대 ex) SARSA, Q-learning, DQN - -Policy-based Goal : 처음부터 episode 종료시까지 주어지는 reward의 총합의 기댓값을 최대화 →..
-
[RL] Actor-critic deep reinforcement learning for solving job shop scheduling problems(2020)Scheduling/Paper 2021. 4. 19. 09:30
논문/사례 제목 출간년도 저자 Actor-critic deep reinforcement learning for solving job shop scheduling problems 2020 Chien-liang Liu, Chuan-chin Change, Chun-jan Tseng 요약 Job shop scheduling problem(JSSP)에 deep reinforcement learning(DRL) 방법론을 적용하여 dispatching rule보다 성능적 우위, optimal model보다 시간적 우위를 도출함. 사용 방법론 -Actor-Critic algorithm Critic network : 현재의 policy를 평가하는 역할 -> action을 해보고 그 action의 value functio..