연합학습(Federated Learning)을 이해하기 쉽게 설명해봐

어느날 점심 "연합학습에 대해서 이제 나는 알겠는데, 남한테 쉽게 설명하려니까 어려워 잘 모르는 사람이 쉽게 이해할 수 있도록 설명할 수 있는 좋은 예시가 없을까?" 라는 말을 듣자 나는 당황했다...

 

왜냐하면, 나는 연합학습(Federated learning)에 대해서 계속해서 공부하면서 기술적으로 연합학습을 설명했지 경험은 많다. 

우선 일반적으로 말하는 연합학습 개념에 대해서 보자.

연합학습은 각각 고유한 데이터 세트를 가진 로컬 클라이언트의 데이터 세트를 한 곳에 모아 모델을 학습하는 기존의 중앙 집중식 학습 방법과 다르게 로컬 클라이언트가 학습할 모델을 공유하고 로컬에서는 보유한 고유 로컬 데이터로 모델을 학습하고 갱신된 모델을 공유하는 방법

https://en.wikipedia.org/wiki/Federated_learning

Federated learning - Wikipedia

위 내용은 연합 학습을 기술적으로 설명하는 말이다.

다시 문제로 돌아가서 연합학습을 잘 모르는 사람에게 이해시키려면 쉽게 설명할 필요가 있는데, 어떻게 해야할까?

특징을 잘 짚어야한다. 내가 생각하는 연합학습의 특징은 두 가지이다.

첫째, 데이터 공유 방식이 아니라 모델 공유 방식으로 학습을 한다.

둘째, 데이터는 로컬을 벗어나지 않는다.

"이 두가지에 중점을 두고 이해하기 쉽게 설명해보자"

뭔가 이해하기 쉬운 그림이 하나 필요할 것같다.

중앙집중식 학습

중앙 집중식 학습에서 로컬 데이터(클라이언트의 데이터)는 분산되어 있다.

데이터를 한곳에 모으기 위해서는 로컬 데이터를 서버에 전송해야하고 이건 로컬 데이터의 복사본과 같다.(중앙의 파란색 D)

모아진 데이터로 모델을 업데이트(학습)한다.

중앙 집중식 학습

연합 학습

연합학습은 로컬 데이터가 이동하지 않는 대신 모델이 이동한다.

중앙 서버는 초기 모델(노란색)을 각각의 로컬 클라이언트에게 전송한다.

로컬 클라이언트는 모델을 받아 보유한 데이터로 학습한다.

학습한 모델을 다시 서버에 보낸다.

이 작업을 반복하면서 모델을 학습한다.

연합 학습

 

 그림으로 기존 학습 방법과 연합 학습 방법의 차이를 알 수 있을 것이다. 이렇게 그림을 이용하면 기술적인 내용을 설명할 수 있다. 그렇다면, 말로 설명하려고 할때에는 어떻게 하는 것이 좋을까?

 

말로 설명해보기(시각적 자료 없이)

여러가지 방법으로 설명할 수 있을 것같은데 내가 주장하고자하는 바는

기존의 학습 방법은 자료를 갖고 있는 객체(데이터)를 한 곳에 모아서 자료를 기반으로 지식을 축적(모델을 학습)하였다. 반면, 연합학습은 자료를 갖고있는 객체(데이터)가 이동하지 않고 지식을 축적할 수 있는 방법이라는 것이다.

글을 쓰면서 머리속으로 쉽게 설명할 수 있는 예제를 만들어보고 있지만, 좋은 예시를 만든다는게 쉽지 않다.

비유로 택한것이 아래 내용이다. 이해가 쉽게 될지는 듣는 사람의 몫이다.

뭔가 탁 와닿는 느낌을 주는 것이 중요한데, 그런 예시인지는 모호하다.

중앙 집중식 학습은 오프라인 회의이고, 연합학습은 온라인 회의(줌)이다.
특정한 주제에 대해서 의논, 교섭하는 것을 회의라고 한다.
즉, 여러사람의 의견(지식)이 모여 혼자보다 더 나은 결론에 도달할 수 있을 것이다.
(아닐 수도 있지만)
...
오프라인 회의는 지식이나 의견을 갖고있는 사람이 회의 장소로 모여야 한다.
반면, 온라인 회의는 회의 장소가 사람에게 다가가는 방식으로
사람의 지식이나 의견을 소프트웨어가 대신 전송을 해주며
사람이 회의 장소로 직접 이동할 필요가 없다.
오프라인보다 회의 결과가 안좋을 수도 더 좋을 수도 있는 것이다.

 

오늘 연합 학습을 이해하기 쉽도록 설명하기 위한 예시에 대해서 고민했다.

여전히, 깊은 고민이 필요하다고 생각된다.

너무 연합 학습이라는 개념을 복잡하게 생각하고 있는지도 모르겠다.