11. L1, L2 Regularization의 차이점은 어떤 것인가요?

안녕하세요. L1, L2 Regularization의 차이점을 물어보셨네요. L1과 L2 Regularization의 차이점은 어떤 것이 있을까요? 그리고 어느 상황일 때, L1 Regularization 또는 L2 Regularization을 써야할까요? 이 대답의 실마리는 각각의 정규화 수식에 있습니다. L1 Regularization은 일반적으로 상수 값을 빼주도록 되어 있습니다. 그렇기 때문에 작은 가중치들은 거의 0으로 수렴이 되며, 중요한 가중치만 남게 된다. 그러므로 소수의 의미있는 값을 도출하려면 L1 Regularization이 효과적입니다. 하지만 L1 Regularization은 미분이 불가능하기 때문에 gradient-based learning에 적용하기에는 주의가 필요합니다.