.
안녕하세요, 에이치비킴 입니다.
이번 포스팅에서는 통신 효율 향상을 위해 연합학습을 활용한 연구에 대해서 살펴보겠습니다 [1].
연합학습이 무엇인가에 대하여는 이전 포스팅에서 다루었으니 참고하시면 좋을 것 같습니다.
연합학습(Federated Learning) 이란?
. 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는
hyungbinklm.tistory.com
연합학습은 비교적 최근에 연구가 진행되고 있는 분야이고, 때문에 다양한 분야에 접목시키기 위한 연구들이 활발히 이루어지고 있습니다.
중앙 서버로 데이터들을 한데 모아 학습하던 이전 러닝 기법들과는 달리, 연합학습은 로컬 디바이스에서 학습이 이루어지기 때문에 중앙 서버에 적은 부하를 갖게 합니다.
하지만 연합학습에 참여하는 로컬 디바이스의 수가 많아질수록 상향 트래픽과 하향 트래픽의 부담이 함께 늘어나는 문제가 발생할 수 있죠.
로컬 디바이스의 수가 많아질수록 전체적인 모델의 성능은 향상되는 현상을 보이기 때문에 우리는 이 상황을 '로컬 디바이스의 수와 통신 성능의 trade-off 관계'가 있다고 이야기 합니다.
최근 연구들에서 이러한 관계를 극복하고 연합학습, 통신 효율 성능을 모두 향상시키고자 하고자 하는 것입니다.
.어떻게
자원 소비를 감소시키고 효율적인 계산을 위해서는, 모델의 파라미터들을 희소화하고 압축하는 방식으로 접근해야한다고 연구들은 이야기합니다. 일반적으로 심층 신경망에서 계산된 기울기 벡터, 즉 가중치는 희소성을 가진다고 알려져 있습니다 [2]. 희소성이라 함은, 압축센싱 기법에서 활용되는 개념으로써 본 포스팅에서는 간략히만 살펴보겠습니다.
예를 들어, 주어진 벡터가 s = [2 0 0 0 0 7 0 0] 이면, 벡터 s 의 희소도는 2 입니다. 그리고 벡터에서 0 이 아닌 원소의 집합을 서포트(support)라고 합니다. 이 집합을 T 라고 표현하며, 벡터 s 의 경우 서포트 T 는 T = {1,6} 입니다.
개념을 조금만 확장을 하여, 신호벡터에서 0 이 아닌 원소 중 적은 수의 원소만이 큰 값을 갖고 나머지는 작은 값을 가질 때 이를 k-sparse 신호로 근사화 시킬 수 있습니다. 벡터 s 가 s = [2 0 0 0 0 0 0 3 2 0.1 0.01 0.001 0.00001] 로 주어질 때, 신호의 희소도는 7 이지만 마지막 네 개 원소를 0 으로 간주하는 경우 희소도는 3 이 되는 것입니다.
이와 같이 신호를 k 개의 원소만으로 근사화 할 수 있는 신호를 k-compressible 신호라고 하며,
주어진 벡터의 희소도(sparsity)가 차원보다 충분히 작은 경우 이를 희소벡터(sparse vector)라고 말합니다.
무선 통신 시스템 기반의 연합학습은 상향 링크단에서 각 로컬 디바이스가 기울기 벡터(가중치)를 그대로 전송하는 경우, 서버에서 수신되는 신호에서는 그 희소성을 잃게 됩니다. 무선 통신 시스템 과정에서 채널 페이딩과 사용자 간 간섭으로 인해 각 디바이스가 보낸 학습 결과가 서버에 부정확하게 전송되는 문제가 발생하는 것입니다.
이를 해결하기 위해서, 송신 기법에서 각 디바이스는 자신이 전송하는 가중치에 랜덤 치환(permutation)을 적용하여, 수신 신호에서의 희소성을 보장할 수 있습니다. 수신 기법에서 서버는 수신 신호에서 압축센싱(compressive sensing)을 적용하여 가중치의 정확한 추정을 가능토록 합니다.
.결론 및 도전 과제
연합학습을 활용한 무선 통신 환경 세팅을 위해서 고려해야 할 점은 다음과 같습니다.
1.
병목현상에 영향을 줄 수 있는 채널 폭, 잡음 및 간섭에 강한 모델이어야 한다. 채널에 영향을 줄 수 있는 이러한 요소들에 강인함을 갖추는 것을 반드시 고려하여야 한다.
2.
Convergence time. 수렴 시간을 고려햐여야 한다. 연합학습에서 수렴 시간에 영향을 주는 것은 로컬 디바이스에서의 학습 및 중앙 서버에서의 취합 시간 뿐 아니라, 채널 상태에 따른 두 요소 간 통신 속도도 포함된다. 따라서, 로컬 디바이스에서의 업데이트와 중앙 서버에서의 취합 시에 사용하는 frequency를 최적화 해줄 때의 채널 상태도 고려하여야 한다.
3.
파라미터의 수를 줄여 모델의 복잡성을 덜어내는 것과 모델의 accuracy 성능 간의 trade-off 관계가 있다. 연합학습을 무선 통신에 적용하기 위해서는, 통신 비용과 채널의 상태가 필수적으로 고려되어야 한다.
연구가 활발히 진행되고 있는 분야이기 때문에, 궁금하신 사항이나 의견 공유를 위해서 댓글, 메일 주시면 감사하겠습니다.
감사합니다.
Reference
[1] S. Niknam, H. S. Dhillon and J. H. Reed, "Federated Learning for Wireless Communications: Motivation, Opportunities, and Challenges," in IEEE Communications Magazine, vol. 58, no. 6, pp. 46-51, June 2020
[2] 정보와 통신 열린강좌 33(6(별책3호)), 2016.5, 34-42(9 pages) KICS Information & Communication Magazine - Open Lecture Series 33(6(별책3호)), 2016.5, 34-42(9 pages)
