L1 norm, L2 norm 란?

.

안녕하세요 에이치비킴 입니다.

---

우리나라에서는 norm이 '노름'으로 발음되는 것 같습니다.

 

Norm의 수학적 정의는 복잡하지만,

딥러닝에서의 Lp norm(특히, L1 norm 및 L2 norm)은 딥러닝 모델이 학습될 때 과적합을 방지하기 위해 사용된다고 정의할 수 있습니다.

 

p>=1 일 때, Lp norm은 다음과 같이 정의됩니다.

 

수식 1. Definition of Lp norm [1]

그림 1. Shape of Lp norm [1]

 

위 정의를 기반으로 해서 L1 norm과 L2 norm을 알아보겠습니다.

---

L1 norm

: L1 norm은 다음과 같이 정의됩니다.

 

수식 2. Definition of L1 norm [2]

 

p, q라는 벡터가 있을 때, 두 벡터 차의 절댓값의 합입니다.

 

L1 norm에 의해 도출되는 거리를 L1 distance 또는 Manhattan distance로 표현할 수 있습니다.

 

여담으로,

L1 distance는 Rectangular street grid 형태로 표현되며, 이 형태가 New york의 Manhattan에서 택시가 진행하는 형태와 유사하여 이와 같은 이름이 붙여졌다고 합니다.

---

L2 norm

: L2 norm은 다음과 같이 정의됩니다(1차원 상황에서의 정의입니다.).

 

수식 2. Definition of L2 norm [3]

 

L2 norm은 Euclidean 형태이며, 이는 곧

p, q라는 벡터가 있을 때, 두 벡터 사이의  Euclidean distance(직선 거리) 입니다.

---

정리

L1 norm 및 L2 norm을 활용하여 (L1, L2) distance 및 (L1, L2) regularization으로 이용 가능하며,

L1 distance는 Manhattan distance, L2 distance는 Euclidean distance로 표현 가능합니다.

 

L1 norm에 의해 표현되는 L1 distance, 즉 Manhattan distance는 두 개의 고정된 벡터 사이에도 여러 개의 grid path가 발생할 수 있지만, 

L2 norm에 의해 표현되는 L2 distance, 즉 Euclidean distance는 하나의 grid path(unique shortest path)만이 존재합니다.

 

또한, L2 norm은 제곱의 형태이기 때문에 outlier에 더욱 민감하기 때문에, outlier가 있는 경우에는 L1 norm을 적용하는 것이 효과적일 수 있습니다.

이러한 특징으로 인해 L2 norm을 사용하였을 때 더욱 일반화된 모델이 생성되기도 합니다.

 

그림 2을 통해 L1 distance와 L2 distance의 도식화를 보입니다.

 

그림 2. Shape of L1 distance and L2 distance [4]

---

References

 

[1]https://en.wikipedia.org/wiki/Lp_space#The_pnorm_in_infinite_dimensions_and_%E2%84%93p_spaces

[2] https://en.wikipedia.org/wiki/Taxicab_geometry

[3] https://en.wikipedia.org/wiki/Euclidean_distance

[4] https://www.omnicalculator.com/math/manhattan-distance