ML & DL 이야기 (7) 썸네일형 리스트형 [Paper Review] A Unified Approach to Interpreting Model Predictions . 안녕하세요. 에이치비킴 입니다. 논문명: A Unified Approach to Interpreting Model Predictions (Lundberg, Scott M., and Su-In Lee) 인공지능에서, 제작한 모델이 예측한 결과를 이해하는 것은 굉장히 중요하다 (특정 accuracy가 발생한 이유와 같이). 하지만, 복잡한 모델을 사용하여 (앙상블 및 딥러닝 모델들) large modern dataset에서 높은 정확도를 보이는 경우에는 정확도와 해석가능성 사이에 tension이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 SHAP (SHapley Additive exPlanations)을 제안한다. SHAP의 특성은 다음과 같다. 1. SHAP은 각각의 특성에 부분적 예측을 .. L1 norm, L2 norm 란? . 안녕하세요 에이치비킴 입니다. 우리나라에서는 norm이 '노름'으로 발음되는 것 같습니다. Norm의 수학적 정의는 복잡하지만, 딥러닝에서의 Lp norm(특히, L1 norm 및 L2 norm)은 딥러닝 모델이 학습될 때 과적합을 방지하기 위해 사용된다고 정의할 수 있습니다. p>=1 일 때, Lp norm은 다음과 같이 정의됩니다. 위 정의를 기반으로 해서 L1 norm과 L2 norm을 알아보겠습니다. L1 norm : L1 norm은 다음과 같이 정의됩니다. p, q라는 벡터가 있을 때, 두 벡터 차의 절댓값의 합입니다. L1 norm에 의해 도출되는 거리를 L1 distance 또는 Manhattan distance로 표현할 수 있습니다. 여담으로, L1 distance는 Rectangula.. [Paper Review] Popularity Prediction with Federated Learning for Proactive Caching at Wireless Edge Abstract Edge caching에 앞서서 file popularity prediction은 굉장히 중요한 역할을 한다. Popularity prediction을 위한 보편적인 방법은 centralized learning이다. request information와 사용자의 개인 정보를 수집해야 한다. 이 과정에서 privacy-disclosure 문제가 발생할 수 있다. 본 논문에서는, 이러한 priacy 이슈에 대응하기 위해 연합학습을 사용한다. 정보의 공개 없이 base station에서 popularity prediction을 진행하기 위해서는, 각 유저의 weighted sum을 base station으로 전송하여야 한다. 본 논문에서는, 실제 데이터셋을 이용한 시뮬레이션을 통해 centra.. [Paper Review] Federated Learning for Internet of Things: A comprehensive Survey . 안녕하세요. 에이치비킴 입니다. 본 포스팅을 살펴보기에 앞서, 연합학습의 개념에 대해 알고 계시면 큰 도움이 될 것 같습니다. 연합학습이란? 연합학습(Federated Learning) 이란? . 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는 hyungbinklm.tistory.com 이번 논문 리뷰는 논문이 작성된 포맷에 맞춰 순서대로 살펴 볼 예정입니다. 논문명: Federated Learning for Internet of Things: A comprehensive Survey (Dinh C. Nguyen, Pubudu N. Pathirana, and Jun Li).. [Paper Review] Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Application . 안녕하세요. 에이치비킴 입니다. 이번 논문 리뷰는 논문이 작성된 포맷에 맞춰 순서대로 살펴 볼 예정입니다. 논문명: Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Applicaiton (Joo Hun Yoo et al.) 0. ABSTRACT @ 머신러닝 기법은 큰 데이터셋 내부에서 연관성을 찾는데 유용하게 쓰인다. @ 하지만 데이터를 수집하고 활용하는 과정에서 privacy 문제가 제기될 수 있다. 의료 데이터와 같이 공개하기에 민감한 데이터는 특히 그렇다. @ 이러한 측면에서, 연합학습 기법이 privacy 보호 측면에서 장점을 갖는다. @ 위 privacy에 포함될 수 있는 분야는 다음과 같.. [Paper Review] MEC (Mobile Edge Computing) 환경에서 연합학습의 활용 . 안녕하세요, 에이치비킴 입니다. 최근 몇 년간, 모바일 디바이스의 성능과 딥러닝 분야에서 큰 발전이 이루어지고 있죠. 이 덕분에 의학 및 차량 간 네트워크 등의 분야에서 수 많은 활용 가능성을 갖게 되었습니다. 이와 함께, 데이터를 중앙 서버에 모아 학습을 시키는 기존의 학습 방법에서 프라이버시 문제가 제기되었습니다. 이를 극복하기 위해서 연합학습 (Federated Learning) 이라는 학습 방법이 등장하였고, 이와 관련하여 이전 포스팅에서 정리해두었으니 참고하시면 좋을 것 같습니다. 이전 포스팅 바로가기 연합학습(Federated Learning) 이란? . 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠.. 연합학습(Federated Learning) 이란? . 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는 달리 '데이터의 익명성이 보장된다.' 라는 강점을 갖고 있습니다. 기존의 머신러닝에서는 모바일 디바이스 또는 센서 등의 장치에서 얻은 정보를 하나의 중앙 서버로 취합하여 학습이 진행됩니다. 하지만 연합학습에서는 각각의 장치가 갖고 있는 데이터를 중앙 서버로 보내지 않고, 각각의 장치에서 학습이 진행됩니다. 학습을 통해 도출된 '가중치들만' 중앙 서버로 전송이 되어, 중앙 서버는 이 가중치들을 하나의 가중치로 취합하는 최종 역할을 담당합니다. 중앙서버로 '가중치들만' 중앙 서버로 전송이 됨으로써, 각각의 장치가 갖고 있는 로컬.. 이전 1 다음
