Q : 차원 축소를 하는 방법에는 어떤 것이 있나요? 차원 축소 왜 해야하나요?

A :
고차원일 경우 차원의 저주(차원이 증가하면 그것을 표현하기 위한 데이터양이 기하 급수적으로 증가)가 발생합니다. 메모리 문제도 발생하고 여러가지 문제가 발생합니다. 이를 방지하기 위해서는 아래 세가지 방법을 사용하세요.

가) 다중공선성을 가지는 피쳐를 제거합니다.
나) PCA, ICA 등의 알고리즘을 통해서 차원 감소를 수행합니다.
다) CNN의 pooling(subsampling)을 사용합니다.


Souce: http://www.nlpca.org

고성능 컴퓨터와 빅데이터를 가질 경우 “차원축소가 필요없다! 모델 성능이 더 뛰어나!”라고 하시는 분도 계신데SVM(Support vector machine)의 경우에는 차원이 축소된 공간에서 더 좋은 성능을 발휘하기도 합니다.