학습 없이 CT를 3D 가우시안으로 — 결정론적 복셀-가우시안 사영 기반 DVS Analytical Framework

배경 — CT 3D 가시화는 왜 무거운가

CT(전산화 단층 촬영)는 몸을 수백 장의 단면으로 찍어 3차원 격자, 즉 복셀(voxel) 덩어리로 저장합니다. 각 복셀에는 HU(Hounsfield Unit) 라는 밀도 값이 들어 있습니다. 물은 0, 공기는 −1000, 뼈는 수백에서 1000 이상입니다. 의사는 이 HU 값에 창 폭/창 중심(Window Width/Level) 을 적용해 뼈 창, 연조직 창, 폐 창처럼 보고 싶은 조직만 밝게 보이도록 바꿔 가며 판독합니다. 이것을 windowing 이라고 합니다.

3차원으로 볼 때는 주로 두 가지 방식을 씁니다.

두 방식 모두 전체 복셀 격자를 메모리에 올려 놓고 매 프레임 광선을 쏘아 계산해야 합니다. 병원 워크스테이션에서는 문제가 없지만, 5G 원격 의료, 모바일 PACS 뷰어, 시간 축까지 더해진 4D-CT처럼 메모리·네트워크 대역폭·연산 자원이 모두 부족한 환경에서는 한계에 부딪힙니다.

3D Gaussian Splatting을 의료 영상에 쓰려면

최근 그래픽스 분야에서는 장면을 수십만 개의 작은 타원체(가우시안)로 표현하는 3D Gaussian Splatting(3DGS) 이 빠른 렌더링으로 주목받고 있고, 의료 영상으로 확장하는 연구도 나오고 있습니다. 그런데 기존 연구는 대부분 여러 시점의 사진(RGB 밝기)을 보고 경사하강법으로 수천 번 반복 학습해 가우시안을 맞추는 방식입니다. 임상에서 꼭 필요한 다음 세 가지를 동시에 만족하는 방법은 없었습니다.

1. HU 무손실 보존 — 진단 근거인 원본 밀도 값을 잃지 않을 것
2. windowing 실시간 호환 — 뼈 창·폐 창 전환이 그대로 동작할 것
3. 학습 없는 즉시 변환(training-free) — 촬영 직후 바로 쓸 수 있을 것

이 논문은 세 가지를 하나의 구조로 해결하는 DVS(Deterministic Voxel Splatting) Analytical Framework 를 제안합니다.

핵심 아이디어 — 학습 대신 폐쇄해로 복셀을 가우시안으로

시스템 위치

DVS는 병원 PACS에 보관된 DICOM 원본을 건드리지 않습니다. 원본의 읽기 전용 사본에서 가우시안을 만들어 5G 스트리밍으로 에지 단말(태블릿, 모바일 뷰어 등)에 보내는 파생 가시화 계층(Derived Visualization Layer) 으로 설계했습니다. 진단의 원본은 그대로 PACS에 있고, DVS는 빠르고 가볍게 보여 주는 역할만 맡습니다.

결정론적 변환 알고리즘

가우시안 하나는 중심 위치 μ 와 모양(공분산 Σ) 으로 정해집니다. 공분산은 타원체가 어느 방향으로 얼마나 길쭉한지를 나타냅니다. DVS는 이 Σ를 학습으로 찾지 않고, 각 위치 주변 영상의 결 방향을 직접 계산해서 한 번에 구합니다. 같은 입력이면 언제나 같은 결과가 나오므로 "결정론적"이라고 부릅니다.

DVS 결정론적 변환 흐름도. 그래디언트 → 구조 텐서 → 고유값 분해를 거쳐, 평탄한 곳은 등방성 구로, 경계가 뚜렷한 곳은 Rodrigues 회전으로 방향을 맞춘 타원체로 만든다

1. 영상 그래디언트: 각 복셀에서 HU 값이 어느 방향으로 가장 크게 변하는지(∇V) 계산합니다. 뼈 표면이나 장기 경계에서 크게 나타납니다.
2. 구조 텐서: 그래디언트를 주변 영역에 걸쳐 가우시안 커널로 평균 내어 3×3 대칭 양정치(SPD) 행렬 J를 만듭니다. 잡음에 흔들리지 않는 "국소적인 결 방향" 정보입니다.
3. 고유값 분해: J를 분해하면 경계에 수직인 방향과 경계를 따라가는 방향(고유벡터), 그리고 각 방향의 변화 세기(고유값)가 나옵니다.
4. 분기: 가장 큰 고유값이 잡음 수준(τ) 보다 작으면 뚜렷한 경계가 없는 곳이므로 등방성 구(Isotropic Fallback) 로 둡니다. 그렇지 않으면 고유벡터로 회전 행렬 R을 만들고(Rodrigues 회전), 크기 S를 정해 Σ = R·S²·Rᵀ 로 경계를 따라 납작하게 눕힌 타원체를 만듭니다.

모든 계산이 복셀마다 고정된 횟수의 연산(O(1)) 으로 끝나므로, 반복 최적화에 수십 분씩 걸리는 기존 3DGS와 달리 볼륨 하나를 즉시 변환할 수 있습니다.

HU를 지키는 데이터 구조와 다중 모드 렌더링

색이 아니라 HU를 저장한다

일반 3DGS의 가우시안은 RGB 색을 가지고 있어서, 한번 색으로 구워지면 뼈 창·폐 창 전환을 할 수 없습니다. DVS는 모양 정보와 HU 값을 분리해 저장합니다.

HU가 정수형으로 손실 없이 남아 있으므로, 렌더링할 때 windowing 함수 f(h)를 적용하면 색 오염 없이 원래 CT 뷰어와 같은 방식으로 창 전환이 됩니다. 아래 그림은 같은 가우시안 집합 하나로 뼈·연조직·폐 창을 각각 적용한 결과(위)와 기존 복셀 MIP(아래)를 비교한 것입니다.

windowing 호환성. 가우시안 집합 하나(N = 49,415)에 뼈 [−450, 1050] HU, 연조직 [−160, 240] HU, 폐 [−1350, 150] HU 창을 적용한 GS-MIP(위)와 같은 창의 복셀 MIP(아래)

하나의 버퍼에서 MIP · DVR · CPR

같은 가우시안 버퍼에서 렌더링 방식만 바꿔 세 가지 임상 가시화를 만듭니다. 데이터를 다시 만들 필요가 없으므로 모드 전환이 즉시 일어납니다.

세 모드 모두 Fragment Shader에서 windowing 함수 f(h)를 동시에 적용합니다.

실험 — 공개 CT 43건 평가

평가 방법

결과

모든 지표에서 p < 10⁻⁸ 의 통계적 유의성과 Cohen's d > 1.0(큰 효과 크기) 를 확인했습니다.

환자별 정성 비교. 왼쪽부터 컬러 가우시안, GS-MIP(뼈 창), 복셀 MIP(뼈 창), 두 영상의 HU 차이 지도. 위부터 전신 CT, 대형 비장 CT(N = 678,737), 소형 비장 CT(N = 150,351)

오른쪽 차이 지도를 보면 오차는 주로 몸 외곽 경계, CT 테이블, 갈비뼈처럼 가는 고밀도 구조에 몰려 있고, 장기 내부는 차이가 작습니다. 가우시안이 경계를 부드럽게 감싸는 특성 때문으로, PSNR 21.75 dB는 복셀 MIP와 화소 단위로 똑같다는 뜻은 아닙니다. 대신 전체 형상과 HU 분포를 유지하면서 훨씬 가볍고 빠르게 보여 주는 것이 이 방법의 목표입니다.

43건 환자별 지표 분포 (파랑: MSD 비장 CT, 빨강: 전신 CT, 점선: 평균). 왼쪽부터 PSNR, SSIM, HU-MAE, 비양자화 원시 저장 시 압축률

속도와 저장 용량

렌더링 속도

눈여겨볼 부분은 GPU 없는 단일 스레드 CPU에서 60 FPS 가 나온다는 점입니다. 복셀 MIP는 같은 조건에서 한 프레임에 2초가 넘게 걸립니다. 서버 렌더링이나 클라우드 GPU 없이 단말 자체에서 실시간으로 돌릴 수 있는 수준입니다.

차등 양자화 (Hybrid Quantization)

필드마다 필요한 정밀도가 다르다는 점을 이용해, 위치·모양은 fp16, 불투명도 같은 표시용 속성은 8비트, HU는 int16 무손실로 저장합니다. 특히 MIP만 볼 때는 위치·HU·크기만 남겨 가우시안 하나당 10바이트로 줄입니다.

저장 용량 비교(43건). 원본 복셀 격자 대비 압축률: 원시 fp32 1.8×, 전체 양자화 16.3×, MIP 전용 양자화 36.3×. 오른쪽은 환자별 복셀 격자 용량(가로)과 MIP 전용 가우시안 용량(세로)

복셀 격자 기준 13–84 MB 였던 볼륨이 MIP 전용 가우시안으로는 모두 3 MB 이하로 줄어듭니다. 5G 스트리밍이나 모바일 뷰어로 전송하기에 충분히 작은 크기입니다.

정리와 다음 단계

이 논문의 기여

• 결정론적 폐쇄해 변환: 구조 텐서와 Rodrigues 회전으로 복셀을 가우시안으로 학습 없이 O(1) 변환
• HU 독립 속성 보존: 모양과 HU를 분리해 int16 무손실 저장, 기존 windowing과 그대로 호환
• MIP · DVR · CPR 통합: 하나의 가우시안 버퍼에서 렌더링 모드를 즉시 전환
• 차등 양자화: 속성별 정밀도를 달리해 최대 36.3× 압축
• 통계 검증: 공개 CT 43건에서 모든 지표 Cohen's d > 1.0, p < 10⁻⁸

논문에서는 이를 HU 보존 · windowing 호환 · training-free 세 축을 하나의 구조로 만족하는 의료 영상 분야의 학습 불필요 가우시안 프레임워크로 제안했습니다. PACS 원본을 그대로 둔 채 그 위에 얹는 파생 가시화 계층이므로, 원격 의료, 모바일 PACS 뷰어, 4D-CT, 의료 디지털 트윈처럼 가볍고 빠른 3D 가시화가 필요한 분산 환경에 적용할 수 있습니다.

남은 과제와 다음 단계

1. 화질 고도화: 경계·가는 뼈 구조에서 발생하는 HU 오차를 줄여 PSNR과 SSIM을 높입니다.
2. GPU 백엔드: CUDA 기반 gsplat 렌더링 백엔드를 도입해 대형 볼륨의 처리 성능을 높입니다.
3. 임상 검증: 영상의학 전문의 대상 reader study로 진단 일치도와 임상적 유용성을 확인합니다.

논문 정보

• 신종화, 이규만 (가천대학교 일반대학원 바이오의료기기학과), "결정론적 복셀-가우시안 사영 기반 DVS Analytical Framework (DVS Analytical Framework based on Deterministic Voxel-Gaussian Projection)", Journal of Next-generation Convergence Information Services Technology (JNCIST), NCISS, 2026

레퍼런스

• B. Kerbl 외, "3D Gaussian Splatting for Real-Time Radiance Field Rendering", ACM Transactions on Graphics 42(4), 2023
• Y. Cai 외, "Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis", ECCV 2024
• J. Wasserthal 외, "TotalSegmentator: Robust Segmentation of 104 Anatomic Structures in CT Images", Radiology: Artificial Intelligence, 2023
• M. Antonelli 외, "The Medical Segmentation Decathlon", Nature Communications 13, 2022
• M. Levoy, "Display of Surfaces from Volume Data", IEEE Computer Graphics and Applications, 1988
• G. N. Hounsfield, "Computerized transverse axial scanning (tomography)", British Journal of Radiology, 1973
• J. Cohen, Statistical Power Analysis for the Behavioral Sciences, 2nd ed., 1988

게재 정보

이 글은 차세대융합정보서비스학회(NCISS) 학술지 Journal of Next-generation Convergence Information Services Technology (JNCIST, ISSN 2508-9099(p) / 2672-1198(e)) 에 2026년 게재된 논문 「결정론적 복셀-가우시안 사영 기반 DVS Analytical Framework」(신종화·이규만, 가천대학교)의 내용을 블로그 형식으로 정리한 것입니다. 수치와 그림은 논문 및 논문 실험 결과에서 가져왔습니다.