.
안녕하세요. 에이치비킴 입니다.
이번 포스팅에서는 연합학습과 관련된 논문을 함께 살펴 보겠습니다.
논문을 살펴보기 전에, 연합학습의 개념이 정리된 글을 참고하시면 좋을 것 같아 링크 남깁니다.
연합학습(Federated Learning) 이란?
. 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는
hyungbinklm.tistory.com
함께 살펴 볼 논문은,
올해 여름 제주도에서 개최한 2021년도 한국통신학회 하계종합학술발표회에서 공개한 논문입니다.
논문 제목은 '사용자별 가중치 표준 편차를 활용한 Federated Learning 성능 향상 기법' 입니다.
사용자별 가중치 표준 편차를 활용한 Federated Learning 성능 향상 기법
논문, 학술저널 검색 플랫폼 서비스
www.dbpia.co.kr
우선 논문의 초록을 소개하고자 합니다.
본 논문에서는 Federated Learning(FL)에서 데이터 분포의 Independent and Identically Distributed(Non-IID) 문제 개선을 목표로 한다. FL의 경우 edge device들의 데이터 분포가 IID 할 때는 학습에 부정적 영향을 끼치지 않지만, Non-IID 할 때는 클라우드 컴퓨팅 성능에 도달하지 못하는 결과를 보일 수 있다. 본 논문을 통해 우선 기본적인 FL의 개념을 살펴보고, edge device들의 데이터 분포가 Non-IID하여 FL 학습이 적절히 이루어지지 않는 상황을 개선하기 위한 연구를 소개한다. 이를 통해 본 논문에서는 Non-IID 상황에서 사용자별 가중치 표준 편차를 활용하는 기법을 제안하며, 기존 FedAvg(Federated Averaging algorithm)와 제안하는 알고리즘의 accuracy와 loss 비교를 통하여 성능을 검증한다.
이전의 연합학습 관련 연구들에서는 다음과 같은 한계점들이 있었습니다.
- Non-IID 한 데이터 분포에 의하여 클라우드 컴퓨팅 성능에 도달하지 못할 수 있음
- 원본 데이터를 수정하는 방식으로 접근하면, 사생활 보호라는 장점을 갖는 연합학습의 특성이 사라질 수 있음
이러한 한계점을 개선하기 위해, FL 서버에서 이루어지는 데이터 처리 형태의 개선을 통하여 정확도 측면에서의 성능을 향상시키고자 FedSD를 제안하였습니다.
FedSD란, Federated Learning algorithm with Standard Deviation of weights for each user 입니다. 즉, 가중치의 표준 편차를 활용한 연합학습 기법을 의미합니다. 기존 FL과 FedSD의 가장 큰 차이이기도 합니다. 아래 알고리즘을 함께 살펴보겠습니다.
서버에서 클라이언트에 초기 가중치를 전송하기 이전에, w(s, k)의 평균에서 표준 편차 범위 내의 w(SD, n)만을 평균화하여 클라이언트에 전송합니다 (Line 10-17). 이를 통해 데이터 분포가 Non-IID 할 때 covariate shift를 유발하는 클라이언트들을 제외할 수 있습니다.
풀어서 설명하기 위하여, 클라이언트들이 갖는 데이터의 특징을 수치로 표현한 결과로써 1부터 10까지의 값을 갖는 10개의 클라이언트가 있다고 가정을 하겠습니다. 클라이언트들의 평균 값 a를 계산하고, 클라이언트들의 표준편차 s를 계산한다고 할 때, 다음 라운드에는 (a - s)보다는 크고 (a + s)보다는 작은 클라이언트만 참여하는 것 입니다. 이 과정을 거쳐 특수한 데이터 분포를 갖는 클라이언트는 제외되고, 다수의 클라이언트를 위한 보편적인 연합학습 모델이 완성되어 모델 전체의 성능 지표(Accuracy, Loss)가 향상되는 것 입니다.
시뮬레이션을 위한 환경은 표 1과 같이 구축하였습니다. 모델은 Lenet-5를 사용하였고, 실험 데이터로서 MNIST 데이터셋을 활용하였습니다.
논문의 실제 시뮬레이션 결과에서 증명한 것처럼, 제안하는 FedSD 기법이 기존의 연합학습 기법에 비하여 성능(Accuracy, Loss)이 향상됨을 확인할 수 있습니다.
감사합니다.
Reference
[1] B.McMahan, E. Moore, D. Ramage, S.Hampson, and B. A. y Acras, “Communication-efficient learning of deep networks from decentralized data,” in Artificial Intelligence and Statistics. PMLR, 2017, pp. 1273- 1282.
[2] Armbrust, Michael, et al. “A view of cloud computing,” Communications of the ACM 53.4 (2010): 50-58
[3] Y. Zhao, M. Li, L. Lai, N. Suda, D. Civin, V. Chandra, “Federated learning with Non-IID data,” arXiv preprint arXiv:1806.00582, 2018.
[4] F. Chen, M. Luo, Z. Dong, Z. Li, and X. He, “Federated metalearning with fast convergence and efficient communication,” arXiv preprint arXiv:1802.07876, 2018.
[5] LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278- 2324
[6] LeCun, Yann. “The MNIST database of handwritten digits.” http://yann.lecun.com/exdb/mnist/ (1998).