deep learning (5) 썸네일형 리스트형 L1 norm, L2 norm 란? . 안녕하세요 에이치비킴 입니다. 우리나라에서는 norm이 '노름'으로 발음되는 것 같습니다. Norm의 수학적 정의는 복잡하지만, 딥러닝에서의 Lp norm(특히, L1 norm 및 L2 norm)은 딥러닝 모델이 학습될 때 과적합을 방지하기 위해 사용된다고 정의할 수 있습니다. p>=1 일 때, Lp norm은 다음과 같이 정의됩니다. 위 정의를 기반으로 해서 L1 norm과 L2 norm을 알아보겠습니다. L1 norm : L1 norm은 다음과 같이 정의됩니다. p, q라는 벡터가 있을 때, 두 벡터 차의 절댓값의 합입니다. L1 norm에 의해 도출되는 거리를 L1 distance 또는 Manhattan distance로 표현할 수 있습니다. 여담으로, L1 distance는 Rectangula.. [ML/DL] 스태킹 (Stacking) 이란? Stacking : 개별 모델이 예측한 데이터를 다시 meta dataset으로 사용해서 학습하는 방법 - Stacking을 위해서는 2가지 개념의 모델이 필요함 - 그림 1에서의 Base Learner 및 Meta Learner - Overfitting을 방지하기 위해 cross validation 방법을 적용함 [Paper Review] Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Application . 안녕하세요. 에이치비킴 입니다. 이번 논문 리뷰는 논문이 작성된 포맷에 맞춰 순서대로 살펴 볼 예정입니다. 논문명: Personalized Federated Learning with Clustering: Non-IID Heart Rate Variability Data Applicaiton (Joo Hun Yoo et al.) 0. ABSTRACT @ 머신러닝 기법은 큰 데이터셋 내부에서 연관성을 찾는데 유용하게 쓰인다. @ 하지만 데이터를 수집하고 활용하는 과정에서 privacy 문제가 제기될 수 있다. 의료 데이터와 같이 공개하기에 민감한 데이터는 특히 그렇다. @ 이러한 측면에서, 연합학습 기법이 privacy 보호 측면에서 장점을 갖는다. @ 위 privacy에 포함될 수 있는 분야는 다음과 같.. [Paper Review] 사용자별 가중치 표준 편차를 활용한 Federated Learning 성능 향상 기법 . 안녕하세요. 에이치비킴 입니다. 이번 포스팅에서는 연합학습과 관련된 논문을 함께 살펴 보겠습니다. 논문을 살펴보기 전에, 연합학습의 개념이 정리된 글을 참고하시면 좋을 것 같아 링크 남깁니다. 연합학습이란? 연합학습(Federated Learning) 이란? . 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠. 연합학습은, 기존의 머신러닝 기법들과는 hyungbinklm.tistory.com 함께 살펴 볼 논문은, 올해 여름 제주도에서 개최한 2021년도 한국통신학회 하계종합학술발표회에서 공개한 논문입니다. 논문 제목은 '사용자별 가중치 표준 편차를 활용한 Federated Learning 성능 향상 기법' 입니.. [Paper Review] MEC (Mobile Edge Computing) 환경에서 연합학습의 활용 . 안녕하세요, 에이치비킴 입니다. 최근 몇 년간, 모바일 디바이스의 성능과 딥러닝 분야에서 큰 발전이 이루어지고 있죠. 이 덕분에 의학 및 차량 간 네트워크 등의 분야에서 수 많은 활용 가능성을 갖게 되었습니다. 이와 함께, 데이터를 중앙 서버에 모아 학습을 시키는 기존의 학습 방법에서 프라이버시 문제가 제기되었습니다. 이를 극복하기 위해서 연합학습 (Federated Learning) 이라는 학습 방법이 등장하였고, 이와 관련하여 이전 포스팅에서 정리해두었으니 참고하시면 좋을 것 같습니다. 이전 포스팅 바로가기 연합학습(Federated Learning) 이란? . 안녕하세요, 에이치비킴 입니다. 연합학습에 대해서 본격적으로 살펴보기 전에, 연합학습이 최근 각광받고 있는 이유가 무엇인지 알아보아야겠죠.. 이전 1 다음
