총 6개월의 과정중 벌써 3분의 1이 지나갔다.
" 회고하는 습관을 들이고 회고를 통해 오늘보다 내일 더 성장하는 개발자가 되자! " 의 취지로 시작하는 회고록
분명히 시작 전엔 일일 회고록을 쓰겠다고 다짐했는데 택도 없죠? ^-^ 주간회고록도 이제서야 쓰는데 ^-^
노베이스에 수업이 빨리 진행되다보니 복습에 많은 시간이 필요한게 사실이지만 그래도 이제 수업뿐 아니라 플러스 대회, 자격증, 포트폴리오, 최종 프로젝트도 고려해야 할 시기가 왔다.
꾸준히 회고록을 작성하면서 포트폴리오 준비에 다가가는 것도 도움이 될 거라고 생각한다.
수업에서 배운 학습과 공부는 따로 notion 이라는 플랫폼에서 작성중이어서
여기에서는 간단하게 배운내용 정리와 지나간 한 주를 돌아보면서 다음주를 어떻게 준비하면 좋을지 등 말그대로 회고를 하려한다.
9주차 커리큘럼
전반적인 느낀 점 & 일주일 수업
위의 커리큘럼처럼 지난 주에 이어 딥러닝에 대해 배우는 일주일이었으며, 딥러닝은 이론적인 공부가 아주 많이 필요하다는 것을 알게 됐다. (수학 수학 🙄) 수업 중에 진행했던 실습을 다시 봐도 이해가 안가는 부분이 꽤나 많았기에 youtube, 블로그 등 많은 추가적인 공부가 필요했다. 그래도 강사님께서 지금 당장 모든 이해가 필요한 부분이 아니라고 하셨기에, (사실 그렇게 말안하셨어도 넘어가야만 했던 부분,,,🥲) 넘어간 부분들은 딥러닝을 계속해서 공부하면서 시간을 가지고 하나하나 이해해 나가려 한다.
/ 월
- 수치미분 경사하강법의 원리 이해를 돕기 위해 '밑바닥부터딥러닝' 책을 참고하여 low-level (numpy) 으로 직접 코딩,
파라미터가 어떻게 갱신되는지 등을 직접 확인
- task 에 따라 다른 방식의 loss function (objective function) 정의
- model 학습의 의미: 데이터를 활용하여 손실함수를 최소화하도록 가중치(parameter)를 갱신 (iterative)
/ 화
- 오차역전파: 수치미분법과 비교하여 loss 최적화 점에 빠른 시간내에 도달하게 도움 (numpy 실습과 함께 확인)
- 다중분류에 해당하는 손실함수 'sparse_categoricla_crossentropy' 와 'categorical_crossentropy' 차이
(sparse 는 one-hot encoding을 내부에서 해줌)
- 최적화함수(optimizer): 최적화함수를 통해 학습률을 조정
/ 수
- 여러가지 최적화함수: 'Churn' data set 을 이용하여 여러 optimizer 비교하는 실습 진행 ( epoch 당 loss 의 변화 )
- local GPU 세팅: VS code 에서 tensorflow 사용시 GPU 사용가능하게 환경 설정
- matrix factorization
/ 목
- 배치정규화 : 추가적인 계산이 있으나 loss 를 최적화하는데 시간을 줄여줌 (trade-off)
- 드롭아웃: 특정 층(layer)에서 대개 0.2~0.5 비율의 노드 계산을 random 으로 제외, 과적합을 방지
- 가중치 초기화: 초기 가중치에 의해 학습속도 영향을 많이 받음
- collaborative filtering(Matrix Factorization) 유사성 비교 - 01. dot product, 02.cosine, 03. euclidean distance
/ 금
- LSTM / RNN : time-step 이 커질수록 RNN 보다 LSTM 의 성능이 좋음 ( LSTM 은 장기기억이 가능하기 때문 )
- 전이학습 : 딥러닝의 높은 이식성, 유연성을 이용
( 토픽분류 실습: W2V 에서 학습한 word embedding을 분류 모델에 적용, 높은 성능 확인)
좋았던 점 (좋았거나 내가 잘했던 점)
수업 내용의 난이도가 높아 이해가 안되는 부분이 많았지만, 최대한 필기하려했고 수업을 한순간도 놓치지 않았다는 점 !!
그냥 받아적어만 놓더라고 나중에 수업을 더 들으면서 또는 추가학습을 하면서 이게 이랬던거구나 라고 이해가 되는 순간이 오기 때문에 수업은 최대한 집중하여 듣고 있다. 사실 강사님의 수업방식이 나와는 최적화 되어있다🫡🫡 무작정 코딩을 하기 전에 기본 원리에 대해 알려주시는 점이 실습을 이해하는데 도움이 진짜 많이 되고 있다.
개선할 점
개발환경을 세팅하는 부분에 대해서 아직 모르는 점이 너무 많다. ( 이럴때마다 컴맹된 기분,, ) 환경 세팅하는 것도 혼자서 해결할 수 있게끔 과정도 정리하고, 많이 검색을 해봐야겠다.
수업 중간중간 강사님께서 직접 코딩하는 시간을 주시는데, 나중에 강사님 답변과 비교하면 효율이 많이 떨어지거나 아예 작성을 못하는 경우가 있었다. ( 예외처리 try except, 특히 class init 부분은 공부가 아주 많이 필요하다고 느낌 ) python 복습을 너무 안했구나 반성하며,,, 알고리즘 문제 풀기를 미루지 말아야겠다고 다짐했다.
인공지능 엔지니어, 데이터 분석가 상관없이 데이터 전처리는 항상 필요한 부분이고, 실무에서도 많은 시간을 요하는 부분이므로 알고리즘 공부는 꼭 필요하다.
다음주 계획
다음주 4번째 mini project 의 시간이 돌아왔다.
AI connect , "생성 AI가 만들어낸 가짜 (Fake) 이미지와 진짜 (Real) 이미지를 분류하는 문제" 라는 주제의 대회를 신청했으며, mini project 와 함께 진행하려 한다. AI connect 에서는 이미 종료된 대회의 문제를 다시 풀어보고 점수를 확인할 수 있는 기능도 있는데, 나는 아직 프로젝트 주제를 정하고 처음부터 시작하는 것이 막막해서, 이미 틀이 있는 대회 문제를 풀어보는 것이 머신러닝/딥러닝 문제 해결 능력을 키울 수 있는데 도움이 될거라고 생각했다.
NLP beginner 에 추천되는 multi-label-classificaition task의 과제를 수업 중 진행했던 '토픽분류' 실습과 같은 방법( W2V 전이학습과 RNN )으로 모델을 만들어 봤으나 정확도 평가에서 너무 낮았다. 분류해야하는 label 이 100개가 넘는 task는 모델의 성능을 어떻게 높이는지 추가적으로 공부할 계획이다. leader board 에서 가장 높은 accuracy 가 78 정도 였기 때문에 목표를 70으로 잡고 방법을 고심해봐야겠다.
블로그 바로가기
총 6개월의 과정중 벌써 3분의 1이 지나갔다.
" 회고하는 습관을 들이고 회고를 통해 오늘보다 내일 더 성장하는 개발자가 되자! " 의 취지로 시작하는 회고록
분명히 시작 전엔 일일 회고록을 쓰겠다고 다짐했는데 택도 없죠? ^-^ 주간회고록도 이제서야 쓰는데 ^-^
노베이스에 수업이 빨리 진행되다보니 복습에 많은 시간이 필요한게 사실이지만 그래도 이제 수업뿐 아니라 플러스 대회, 자격증, 포트폴리오, 최종 프로젝트도 고려해야 할 시기가 왔다.
꾸준히 회고록을 작성하면서 포트폴리오 준비에 다가가는 것도 도움이 될 거라고 생각한다.
수업에서 배운 학습과 공부는 따로 notion 이라는 플랫폼에서 작성중이어서
여기에서는 간단하게 배운내용 정리와 지나간 한 주를 돌아보면서 다음주를 어떻게 준비하면 좋을지 등 말그대로 회고를 하려한다.
전반적인 느낀 점 & 일주일 수업
위의 커리큘럼처럼 지난 주에 이어 딥러닝에 대해 배우는 일주일이었으며, 딥러닝은 이론적인 공부가 아주 많이 필요하다는 것을 알게 됐다. (수학 수학 🙄) 수업 중에 진행했던 실습을 다시 봐도 이해가 안가는 부분이 꽤나 많았기에 youtube, 블로그 등 많은 추가적인 공부가 필요했다. 그래도 강사님께서 지금 당장 모든 이해가 필요한 부분이 아니라고 하셨기에, (사실 그렇게 말안하셨어도 넘어가야만 했던 부분,,,🥲) 넘어간 부분들은 딥러닝을 계속해서 공부하면서 시간을 가지고 하나하나 이해해 나가려 한다.
/ 월
- 수치미분 경사하강법의 원리 이해를 돕기 위해 '밑바닥부터딥러닝' 책을 참고하여 low-level (numpy) 으로 직접 코딩,
파라미터가 어떻게 갱신되는지 등을 직접 확인
- task 에 따라 다른 방식의 loss function (objective function) 정의
- model 학습의 의미: 데이터를 활용하여 손실함수를 최소화하도록 가중치(parameter)를 갱신 (iterative)
/ 화
- 오차역전파: 수치미분법과 비교하여 loss 최적화 점에 빠른 시간내에 도달하게 도움 (numpy 실습과 함께 확인)
- 다중분류에 해당하는 손실함수 'sparse_categoricla_crossentropy' 와 'categorical_crossentropy' 차이
(sparse 는 one-hot encoding을 내부에서 해줌)
- 최적화함수(optimizer): 최적화함수를 통해 학습률을 조정
/ 수
- 여러가지 최적화함수: 'Churn' data set 을 이용하여 여러 optimizer 비교하는 실습 진행 ( epoch 당 loss 의 변화 )
- local GPU 세팅: VS code 에서 tensorflow 사용시 GPU 사용가능하게 환경 설정
- matrix factorization
/ 목
- 배치정규화 : 추가적인 계산이 있으나 loss 를 최적화하는데 시간을 줄여줌 (trade-off)
- 드롭아웃: 특정 층(layer)에서 대개 0.2~0.5 비율의 노드 계산을 random 으로 제외, 과적합을 방지
- 가중치 초기화: 초기 가중치에 의해 학습속도 영향을 많이 받음
- collaborative filtering(Matrix Factorization) 유사성 비교 - 01. dot product, 02.cosine, 03. euclidean distance
/ 금
- LSTM / RNN : time-step 이 커질수록 RNN 보다 LSTM 의 성능이 좋음 ( LSTM 은 장기기억이 가능하기 때문 )
- 전이학습 : 딥러닝의 높은 이식성, 유연성을 이용
( 토픽분류 실습: W2V 에서 학습한 word embedding을 분류 모델에 적용, 높은 성능 확인)
좋았던 점 (좋았거나 내가 잘했던 점)
수업 내용의 난이도가 높아 이해가 안되는 부분이 많았지만, 최대한 필기하려했고 수업을 한순간도 놓치지 않았다는 점 !!
그냥 받아적어만 놓더라고 나중에 수업을 더 들으면서 또는 추가학습을 하면서 이게 이랬던거구나 라고 이해가 되는 순간이 오기 때문에 수업은 최대한 집중하여 듣고 있다. 사실 강사님의 수업방식이 나와는 최적화 되어있다🫡🫡 무작정 코딩을 하기 전에 기본 원리에 대해 알려주시는 점이 실습을 이해하는데 도움이 진짜 많이 되고 있다.
개선할 점
개발환경을 세팅하는 부분에 대해서 아직 모르는 점이 너무 많다. ( 이럴때마다 컴맹된 기분,, ) 환경 세팅하는 것도 혼자서 해결할 수 있게끔 과정도 정리하고, 많이 검색을 해봐야겠다.
수업 중간중간 강사님께서 직접 코딩하는 시간을 주시는데, 나중에 강사님 답변과 비교하면 효율이 많이 떨어지거나 아예 작성을 못하는 경우가 있었다. ( 예외처리 try except, 특히 class init 부분은 공부가 아주 많이 필요하다고 느낌 ) python 복습을 너무 안했구나 반성하며,,, 알고리즘 문제 풀기를 미루지 말아야겠다고 다짐했다.
인공지능 엔지니어, 데이터 분석가 상관없이 데이터 전처리는 항상 필요한 부분이고, 실무에서도 많은 시간을 요하는 부분이므로 알고리즘 공부는 꼭 필요하다.
다음주 계획
다음주 4번째 mini project 의 시간이 돌아왔다.
AI connect , "생성 AI가 만들어낸 가짜 (Fake) 이미지와 진짜 (Real) 이미지를 분류하는 문제" 라는 주제의 대회를 신청했으며, mini project 와 함께 진행하려 한다. AI connect 에서는 이미 종료된 대회의 문제를 다시 풀어보고 점수를 확인할 수 있는 기능도 있는데, 나는 아직 프로젝트 주제를 정하고 처음부터 시작하는 것이 막막해서, 이미 틀이 있는 대회 문제를 풀어보는 것이 머신러닝/딥러닝 문제 해결 능력을 키울 수 있는데 도움이 될거라고 생각했다.
NLP beginner 에 추천되는 multi-label-classificaition task의 과제를 수업 중 진행했던 '토픽분류' 실습과 같은 방법( W2V 전이학습과 RNN )으로 모델을 만들어 봤으나 정확도 평가에서 너무 낮았다. 분류해야하는 label 이 100개가 넘는 task는 모델의 성능을 어떻게 높이는지 추가적으로 공부할 계획이다. leader board 에서 가장 높은 accuracy 가 78 정도 였기 때문에 목표를 70으로 잡고 방법을 고심해봐야겠다.
블로그 바로가기