“내 얼굴 서버에 안 올려도 지브리풍으로?”…사생활 침해 막는 AI 개발

민감 데이터를 서버로 직접 보내지 않고도 고품질 이미지 생성을 돕는 초경량 인공지능 모델이 개발됐다. 환자 MRI, CT 분석 등 개인 정보 보호가 중요한 환경에서 고성능 생성 AI를 안전하게 활용할 수 있는 길이 열렸다.

UNIST 인공지능대학원 유재준 교수팀은 연합학습 AI 모델인 프리즘(PRISM, PRivacy-preserving Improved Stochastic Masking)을 개발했다고 밝혔다.

연합 학습은 민감 정보가 포함된 데이터를 직접 서버에 올리지 않고, 각자 장치의 ‘로컬AI’가 학습을 수행한 뒤 그 결과만을 모아 하나의 ‘글로벌 AI’를 만드는 기술이다.

프리즘은 연합학습 과정에서 로컬 AI와 글로벌 AI를 연결하는 학습 중재자 역할의 AI 모델이다. 이 모델은 기존 모델보다 통신 비용을 평균 38% 줄이고, 그 크기는 48% 감소한 1-bit 수준의 초경량형이라 스마트폰, 태블릿 PC 같은 소형 장비의 CPU나 메모리에 부담 없이 작동한다.

또 로컬 AI마다 가진 데이터와 성능의 편차가 큰 상황에서도 어떤 로컬 AI의 정보를 더 믿고 반영할지를 정확하게 판단해 조율하기 때문에 최종 생성물의 품질이 높다.

[연구그림] 데이터셋을 이용한 생성형 이미지 비교

가령 ‘셀카’를 지브리풍으로 바꿀 때 기존에는 사진을 서버에 올려야 해 개인정보 침해 우려가 있었다면, 프리즘을 이용하면 모든 처리가 스마트폰 안에서 이뤄져 사생활 침해를 막고 결과도 빠르게 받아볼 수 있는 것이다. 단, 스마트폰에서 이미지를 직접 생성하는 로컬 AI 모델 개발은 별도로 필요하다.

실제 AI 성능 검증에 쓰이는 데이터셋인 MNIST, FMNIST, CelebA, CIFAR10로 실험한 결과, 기존 방식보다 통신량은 적으면서도 이미지 생성 품질은 더 높게 나타났다. 특히 MNIST 데이터셋을 이용한 추가 실험에서는, 지브리풍 이미지를 생성하는 데 주로 쓰는 디퓨전 모델과의 호환성도 확인했다.

연구팀은 모든 정보를 공유하는 대용량 파라미터 방식 대신, 중요 정보만 선별해 공유하는 이진 마스크 방식을 적용해 통신 효율을 높였다. 또 생성 품질을 정밀하게 평가하는 손실 함수(MMD, Maximum Mean Discrepancy)와 각 로컬 AI의 기여도를 다르게 집계하는 전략(MADA, Mask-Aware Dynamic Aggregation)으로 데이터 편차와 학습 불안정성을 해소했다.

유재준 교수는 “이미지뿐만 아니라, 텍스트 생성, 데이터 시뮬레이션, 자동 문서화 등 다양한 생성 AI 분야에 적용할 수 있다”며 “의료, 금융 등 민감 정보를 다루는 분야에서 효과적이고 안전한 솔루션이 될 것”이라고 말했다.

이번 연구는 연세대학교 한동준 교수와 함께했으며, UNIST 서경국 연구원이 제1 저자로 참여했다.

연구결과는 세계 3대 인공지능 학회 중 하나인 ICLR(The International Conference on Learning Representations) 2025에 채택됐다. 2025 ICLR은 4월 24일부터 28일까지 5일간 싱가포르에서 열린다.

연구 수행은 과학기술정보통신부 한국연구재단, 정보통신기획평가원, UNIST 슈퍼컴퓨팅센터의 지원을 받아 이뤄졌다.