Abstract
- Edge caching에 앞서서 file popularity prediction은 굉장히 중요한 역할을 한다.
- Popularity prediction을 위한 보편적인 방법은 centralized learning이다.
- request information와 사용자의 개인 정보를 수집해야 한다.
- 이 과정에서 privacy-disclosure 문제가 발생할 수 있다.
- 본 논문에서는, 이러한 priacy 이슈에 대응하기 위해 연합학습을 사용한다.
- 정보의 공개 없이 base station에서 popularity prediction을 진행하기 위해서는, 각 유저의 weighted sum을 base station으로 전송하여야 한다.
- 본 논문에서는, 실제 데이터셋을 이용한 시뮬레이션을 통해 centralized learning과 거의 유사한 성능을 보임을 입증한다.
Introduction
- 앞으로 발생 할 file popularity 예상은 불가능하지만, popularity prediction이 edge caching을 위한 key task가 될 것이다.
- 기존에는 prediction을 위한 수단으로 중앙화된 머신러닝을 사용하였지만, 모든 유저로부터 데이터를(request의 historical number) base station이나 central processor으로 수집하는 과정에서 privacy 문제가 발생한다.
- 수집하는 데이터에는 personal data(e.g. 나이 또는 성별 등의)가 포함될 수 있기 때문이다.
- Personal information을 로컬에서 처리할 수 있는 distributed learning framework를 디자인하여야 한다.
- 본 논문에서는 연합학습을 그 해답으로 사용한다.
- 최근 들어, 연합학습은 wireless problem에 대응하기 위한 수단으로 소개되고 있다 [1-5].
- [3]은 심층 강화학습을 사용하여 base station에서의 proactive caching 문제를 해결하였다.
- Base station도 caching policy를 최적화하기 위한 participant로 활용되었다.
- [3]과 [4]는 결국 base station 내부에 user의 request 또는 location data가 저장되어 있기 때문에, privacy 이슈가 남아있다.
- 본 논문에서는, 연합학습을 사용하여 user preference 공개 없이 file popularity(proactive edge caching을 위한)를 예측하는 기법을 소개한다.
논문 진행 순서
- 연합학습을 사용한 popularity prediction을 진행하기 위해 request data를 예시로 활용한다.
- User preference를 숨기면서 popularity prediction을 진행하기 위해, 어떠한 정보를 base station으로 전송할지 선정해야 한다.
- 본 논문에서는 file popularity, user preference와 activity level이 정적일 때, 각 유저의 정보들이 weighted sum 형태로 주어진다면, base station에서 file popularity를 에측할 수 있음을 보인다.
- 각 유저의 historical request records로 학습되는 preference-weighted popularity를 학습시키기 위한 neural network 구조를 디자인한다.
- 동적인 popularity를 갖는 실제 상황에서, 본 논문에서 제안하는 기법이 centralized learning과 유사한 cache-hit ratio 수치를 보임을 확인한다.
System Model
- Base station(BS)이 core network에 연결되어 있다고 가정한다.
- 각 셀에는 K 수의 유저가 있고, 유저들은 F 파일에 대한 request를 요청한다.
- Mobile Edge Computing(MEC)의 서버는 각 BS와 함께 위치하고, 셀의 file popularity를 예측한다(proactive caching을 업데이트함으로써).
- 시간은 each with cache update duration에 따라 이산화된다.
- 셀의 file popularity는 각 사용자의 preference와 activity level에 따라 정해진다 [6].
- 하나의 time period에서 하나의 셀에 대한 file popularty는 아래 수식과 같이 나타낸다.
- 위 수식 우측의 p는, 셀에 있는 모든 유저가 f 번째 파일에 대한 request를 요청하였음을 의미한다.
- user preference와 user activity level은 아래와 같다.
- 하나의 time period에서 셀의 file popularity는 첫 request에 담긴 유저의 activity level과 preference에 따라 얻어질 수 있다 [6].
- 하나의 time period에서 각 파일에 각 유저가 request를 요청하는 횟수를 request record라고 한다.
- 연합학습을 사용하여 file popularity prediction을 할 때에는, 각 유저의 request records가 유저의 로컬 디바이스에만 저장된다.
- 하나의 time period가 시작될 때, MEC 서버는 취합된 file popularity와 model parameters를 유저에게 broadcast한다.
- 직전 단계에서 최초로 전달 받은 model parameter(global model)를 기반으로, 각 유저는 로컬에 담긴 각자의 own historical request records를 학습시켜 local model을 생성한다.
- 해당 time period가 끝나갈 때, 각 유저는 local model을 MEC 서버로 업로드하고, MEC 서버(이하 'BS')에서는 이를 취합하고 caching policy를 최적화한다.
- MEC 서버가 Base station이라는 의미는 아니지만, 본 논문에서는 MEC 서버를 base station으로 보아도 무방하다.
Predicting Popularity with Federated Learning
A. Uploaded Information of Each User
- User information의 공개 없이, 어떠한 정보를 BS에 전송할지 결정하는 과정이 필요하다.
- 각 유저들이 predicted popularity를 보내는 것이 최선이지만, 각 유저는 request records만을 갖고 있으므로 앞선 정보를 갖는 것이 불가능하다.
- BS에서 initialized popularity를 얻어내면, 이후 단계를 진행하기 수월하다.
- Initialized popularity는 연합학습의 개념이다.
- 다른 방법은, 각 유저의 predicted user preference를 전송하는 것이다.
- 이 방법이 가능한 이유는, 각 유저의 request records를 통해 추정된 유저의 preference가 supervised learning의 label로 사용될 수 있기 때문이다.
- 이를 통해, BS에서는 predicted file popularity를 얻어낼 수 있다.
- 하지만 각 유저의 personal information을 숨기기 위해서는, 각 유저가 업로드하는 user preference와 file popularity를 weighted sum 형태로 업로드하여야 한다.
- k 번째 유저가, t 시간에 갖는 preference-weighted popularity는 아래와 같다.
B. Predicting Preference-weighted Popularity at Each User
C. Predicting File Popularity at the BS
Reference
[1] .S. Samarakoon, M. Bennis, W. Saad, and M. Debbah, “Federated learning for ultra-reliable low-latency V2V communications,” in Proc. IEEE GLOBECOM, 2018.
[2] W. Y. B. Lim, N. C. Luong, D. T. Hoang, Y. Jiao, Y.-C. Liang, Q. Yang, D. Niyato, and C. Miao, “Federated learning in mobile edge networks: A comprehensive survey,” arXiv preprint arXiv:1909.11875, 2019.
[3] X. Wang, Y. Han, C. Wang, Q. Zhao, X. Chen, and M. Chen, “In-edge AI: Intelligentizing mobile edge computing, caching and communication by federated learning,” IEEE Netw., vol. 33, no. 5, pp. 156–165, Sep. 2019.
[4] M. Chen, O. Semiari, W. Saad, X. Liu, and C. Yin, “Federated echo state learning for minimizing breaks in presence in wireless virtual reality networks,” arXiv preprint arXiv:1812.01202, 2018.
[5] Z. Yu, J. Hu, G. Min, H. Lu, Z. Zhao, H. Wang, and N. Georgalas, “Federated learning based proactive content caching in edge computing,” in Proc. IEEE GLOBECOM, 2018.
[6] D. Liu and C. Yang, “Caching at base stations with heterogeneous user demands and spatial locality,” IEEE Trans. Commun., vol. 67, no. 2, pp. 1554–1569, Feb. 2019.
