.
안녕하세요, 에이치비킴 입니다.
최근 몇 년간, 모바일 디바이스의 성능과 딥러닝 분야에서 큰 발전이 이루어지고 있죠.
이 덕분에 의학 및 차량 간 네트워크 등의 분야에서 수 많은 활용 가능성을 갖게 되었습니다.
이와 함께, 데이터를 중앙 서버에 모아 학습을 시키는 기존의 학습 방법에서 프라이버시 문제가 제기되었습니다.
이를 극복하기 위해서 연합학습 (Federated Learning) 이라는 학습 방법이 등장하였고, 이와 관련하여 이전 포스팅에서 정리해두었으니 참고하시면 좋을 것 같습니다.
연합학습(Federated Learning) 이란?
. 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는
hyungbinklm.tistory.com
하드웨어의 성능이 크게 발전했다지만, 아직 대규모 연합학습을 진행하기에는 몇몇 한계점이 있습니다.
통신 비용의 증가, 자원 할당 문제, 그리고 연합학습의 규모가 커지며 프라이버시 및 보안 이슈가 발생할 수 있는 것이죠.
그리고 이러한 한계를 극복하기 위해, MEC (Mobile Edge Computing) 환경에서 연합학습을 구현하기 위한 연구가 진행되고 있습니다.
MEC 환경은 중앙 서버에서 학습이 이루어지던 기존 방법에 변화를 줄 수 있습니다.
데이터가 생성된 장소 근처에서 학습이 이루어지도록 하여 각 디바이스들과 엣지 서버들의 컴퓨팅 자원을 증가 시켜주는 것이죠. 같은 이야기로, 데이터를 중앙 서버로 직접 전송하는 것이 아니기 때문에 연합학습과도 유사한 특성을 갖는다고 보시면 될 것 같습니다.
다만 MEC 환경은 결국 마지막 단에서 데이터들이 중앙 서버로 전송되어 다시 학습이 이루어지기 때문에, 연합학습과 다른 점을 갖습니다.
위 그림은 엣지 컴퓨팅, 클라우드 컴퓨팅, 연합학습을 도식화한 것입니다.
엣지 컴퓨팅과 연합학습은 값이 중앙 서버로 직접 전달되지 않는다는 공통점이 있지만, 엣지 컴퓨팅에서는 데이터가 마지막 단에서 중앙 서버로 전달되는 차이점을 갖습니다.
연합학습을 활용할 때, 문제가 되는 것은 다량의 전송으로 인하여 트래픽 문제 즉, 큰 비용이 발생할 수 있다는 것입니다. 때문에 우리는 연합학습에서 통신 효율을 향상시켜야 하고, 이를 위한 다음과 같습니다.
1. Model Compression
2. Edge and End Computation
3. Importance-based Updating
이번 포스팅에서는 2. Edge and End Computation 에 대하여 살펴볼 것이고, 1. model Compression 과 관련하여 살펴보고 싶으신 분들은 이전 포스팅을 참고하시면 좋을 것 같습니다.
1. Model Compression 관련 포스팅 바로가기
통신 효율 향상을 위한 연합학습(Federated Learning) 활용 - 논문 리뷰
. 안녕하세요, 에이치비킴 입니다. 이번 포스팅에서는 통신 효율 향상을 위해 연합학습을 활용한 연구에 대해서 살펴보겠습니다 [1]. 연합학습이 무엇인가에 대하여는 이전 포스팅에서 다루
hyungbinklm.tistory.com
.Edge and End Computation
연합학습의 모바일 디바이스들은 각각의 디바이스가 갖고 있는 데이터로 학습을 진행하기 때문에 이 과정에서 연산 비용은 크게 발생하지 않습니다. 심지어 최근 모바일 디바이스와 같은 하드웨어 성능이 크게 발전하였고, 학습에 필요한 연산은 크게 달라지지 않았으니까요. 아마 사용자들은 인터넷만 연결이 된다면 그들의 디바이스로 모델을 학습하는 것에 부담을 느끼지 않을 것입니다.
이러한 모바일 디바이스들을 조금 더 활용하기 위해서 나온 방법이 Edge and End Computation 입니다. 모바일 디바이스에서 더 많은 연산이 가능하기 때문에, 이를 통해 전체 커뮤니케이션 라운드를 줄이고자 하는 것입니다. 커뮤티케이션 라운드 수의 감소와 함께 통신 트래픽을 줄이고자 하는 것이 목표입니다. 커뮤니케이션 라운드와 관련하여 연합학습의 프로토콜은 아래 그림을 참고해주세요.
관련 연구는 총 네 가지 입니다. 각각은 다음과 같습니다.
1. FedAvg [2]
2. FedBCD [3]
3. LoAdaBoost FedAvg [4]
4. HierFAVG [5]
1. ~ 4. 관련 논문인 [2] ~ [5] 를 따로 포스팅 할 예정이기 때문에, 포스팅이 완료되면 링크를 남겨두도록 하겠습니다.
감사합니다.
Reference
[1] W. Y. B. Lim et al., "Federated Learning in Mobile Edge Networks: A Comprehensive Survey," in IEEE Communications Surveys & Tutorials, vol. 22, no. 3, pp. 2031-2063, thirdquarter 2020, doi: 10.1109/COMST.2020.2986024.
[2] H. B. McMahan, E. Moore, D. Ramage, S. Hampson et al., “Communication-efficient learning of deep networks from decentralized data,” arXiv preprint arXiv:1602.05629, 2016.
[3] Y. Liu, Y. Kang, X. Zhang, L. Li, Y. Cheng, T. Chen, M. Hong, and Q. Yang, “A communication efficient vertical federated learning framework,” arXiv preprint arXiv:1912.11187, 2019.
[4] L. Huang, Y. Yin, Z. Fu, S. Zhang, H. Deng, and D. Liu, “Loadaboost: Loss-based adaboost federated machine learning on medical data,” arXiv preprint arXiv:1811.12629, 2018.
[5] L. Liu, J. Zhang, S. Song, and K. B. Letaief, “Edge-assisted hierarchical federated learning with non-iid data,” arXiv preprint arXiv:1905.06641, 2019.
