악보허브 스테이션 — 브라우저 하나로 끝내는 AI 악기 분리·음원 악보 변환·음악 싱크

왜 만들었나

연주 영상 한 편을 만들려면 생각보다 많은 단계를 거칩니다. 원곡에서 내가 연주할 악기 소리를 빼고, 귀로 들으며 악보를 받아 적고, 따로 녹음한 연주를 영상에 맞춰 붙이고, 가사나 악보를 화면에 올립니다. 단계마다 다른 프로그램이 필요하고, 고성능 PC를 갖추거나 파일을 서버에 올려 처리가 끝나기를 기다려야 하는 경우도 많습니다.

악보허브 스테이션은 이 과정을 웹 브라우저 하나에 모은 음악 작업 도구입니다. 영상 편집, 음원 편집, 파일 변환, 악보 제작, 음악 이론·연습의 다섯 갈래로 도구를 나누었고, 각 도구는 같은 작업 화면과 리본 메뉴를 공유합니다. 악기 분리, 자동 채보, 음악 싱크 같은 핵심 기능에는 여러 AI 기법을 결합해 적용했습니다.

악보허브 스테이션 — 영상 편집·음원 편집·변환·악보 제작·이론 연습 도구 모음

시스템 구조 — 모든 처리를 웹에서

브라우저 안에서 실행되는 AI

스테이션의 가장 큰 특징은 AI 분석과 미디어 처리가 모두 사용자의 브라우저 안에서 실행된다는 점입니다. 음원과 영상 파일은 서버로 전송되지 않고, 사용자의 기기에서 바로 처리됩니다. 공개하지 않은 녹음이나 개인 연주 영상도 외부로 내보내지 않고 작업할 수 있습니다.

• 기기 GPU 가속: AI 모델은 사용자 기기의 그래픽 처리 장치를 활용해 빠르게 실행하고, 지원하지 않는 기기에서는 자동으로 일반 연산 방식으로 전환합니다.
• 모델 한 번 받기: AI 모델은 처음 실행할 때 한 번 내려받아 브라우저에 저장하고, 이후에는 저장된 모델을 다시 사용합니다. 예를 들어 악기 분리 모델은 첫 실행에 약 270MB를 받습니다.
• 멈추지 않는 화면: 무거운 연산은 화면과 분리된 백그라운드 작업에서 처리합니다. 사용자는 "음원 읽기 → 모델 준비 → 악기 분리 → 파일 만들기"처럼 진행 단계와 남은 시간을 보면서 기다릴 수 있습니다.
• 작업 보관: 진행 중인 작업은 브라우저에 임시 저장되어, 창을 닫았다 열어도 자동 복구본으로 이어서 작업할 수 있습니다.

여러 AI 기법을 잇는 복합 파이프라인

하나의 기능처럼 보이는 작업도 실제로는 여러 단계의 분석이 이어져 있습니다.

각 단계의 결과는 다음 단계의 입력이 됩니다. 예를 들어 원곡에서 베이스 악보를 만들 때는 먼저 베이스 소리만 분리하고, 그 소리에서 음을 인식하고, 박자와 조성을 붙여 마디로 정리한 뒤, 마지막으로 원곡과 마디 위치를 맞춥니다.

악기 추출·제거 — AI 음원 분리

악기 추출·제거는 완성된 음원에서 원하는 악기만 뽑아내거나, 그 악기만 뺀 반주를 만드는 도구입니다.

• 드럼, 베이스, 보컬, 기타, 피아노, 그 밖의 반주까지 최대 6개 파트로 나눕니다.
• 고른 악기만 남기는 추출과, 고른 악기만 빼는 제거 중에서 선택합니다. 연습용 반주(MR)를 만들 때는 제거를 씁니다.
• 품질은 표준과 정밀(시간이 더 걸림) 중에서 고릅니다.
• 보컬은 한 번 더 메인 보컬과 코러스로 나눌 수 있고, 합주실이나 라이브 녹음처럼 울림이 많은 소리를 위한 보정 옵션도 있습니다.
• mp3, wav, m4a, flac 등 최대 60MB, 10분 길이의 음원을 처리합니다.

분리된 트랙은 바로 들어 보고 파일로 저장할 수 있습니다. 이 음원 분리 기능은 스테이션 안에서 독립된 도구이면서, 음원 악보 변환과 내 연주로 교체 같은 다른 도구의 첫 단계로도 쓰입니다.

악기 추출·제거 — 분리할 악기 선택과 추출·제거 모드

음원 악보 변환 — 소리에서 편집 가능한 악보로

자동 채보 과정

음원 악보 변환은 음원을 분석해 악보 초안을 만들고, 같은 화면에서 바로 편집하는 도구입니다. 음원을 불러와 악기를 고르고 전체 음원 변환을 누르면 다음 과정이 이어집니다.

1. 원곡이라면 고른 악기의 소리를 먼저 분리합니다. 이미 분리된 음원이면 이 단계를 건너뜁니다.
2. 소리에서 음표의 높이, 시작 시점, 길이를 인식합니다.
3. 박자와 빠르기를 추정해 음표를 마디와 음 길이로 정리합니다.
4. 곡의 조성을 판단해 조표를 붙입니다.
5. 오선보와 TAB 악보를 함께 그리고, 각 마디를 원곡의 시간 위치와 연결합니다.

변환이 끝나면 곡 길이, 박자표, BPM, 조성이 요약되어 표시됩니다. 아래 화면은 12초 길이의 베이스 테스트 음원을 변환한 결과로, 5마디·음표 11개·4/4박자·120 BPM·A장조를 자동으로 찾아 조표까지 맞춘 악보입니다. 음표가 너무 적거나 거의 무음에 가까운 음원이면, 결과를 적용하기 전에 사용자에게 먼저 확인을 받습니다.

음원 악보 변환 — 12초 베이스 음원에서 자동으로 만든 오선보와 TAB 악보

악기를 아는 악보

베이스 악보에서는 같은 음이라도 어느 줄 어느 프렛으로 칠지가 중요합니다. 스테이션은 손 위치 이동이 적은 운지를 계산해 TAB 숫자를 배치하고, 4현 베이스의 최저음보다 낮은 음이 충분히 많으면 5현 베이스 악보로 자동 전환합니다. 사용자가 직접 정한 조율은 그대로 유지합니다.

같은 화면에서 다듬기

AI가 만든 악보는 출발점이고, 완성은 편집 화면에서 이루어집니다. 전체 변환과 마디별 변환을 오가며 필요한 부분만 다시 분석할 수 있고, 음표 입력·음 길이·붙임줄·해머링/풀링·슬라이드 같은 주법을 바로 고칠 수 있습니다. 재생은 악보 소리, 원곡, 둘을 함께 듣는 동시 재생, 원곡에서 해당 악기만 듣는 모드 중에서 고릅니다.

완성한 악보는 A4 PDF와 범용 악보 파일(MusicXML, Guitar Pro 형식)로 내보내고, 로그인하면 내 악보책에 저장할 수 있습니다.

음악 싱크 — 원곡·악보·영상·내 녹음을 하나의 시간축으로

음악 도구에서 가장 손이 많이 가는 일은 서로 다른 소스의 시간을 맞추는 일입니다. 스테이션은 소리의 특징을 비교하는 정렬 기법으로 이 작업을 자동화했습니다.

악보와 원곡

음원 악보 변환에서는 원곡 소리의 음높이 흐름과 악보의 음 흐름을 비교해 각 마디가 원곡의 어디에 해당하는지 자동으로 연결합니다. 사람이 경계를 직접 옮길 때는 가까운 음의 시작점에 자석처럼 맞춰 줍니다. 싱크가 맞춰지면 재생 위치를 따라 악보가 넘어가고, 선택한 마디만 원곡으로 반복해 들으며 연습할 수 있습니다. 유튜브 영상과 연결해 영상에 맞춰 악보를 재생하는 것도 가능합니다.

내 녹음과 원곡

내 연주로 교체는 원곡에서 고른 파트(예: 베이스)를 걷어내고, 그 자리에 내가 따로 녹음한 연주를 넣는 도구입니다. 녹음 시작 위치를 원곡에 자동으로 맞추고, 필요하면 구간별 타이밍까지 보정하며, 내 연주의 음량을 원곡 파트의 크기에 맞춥니다. 결과는 WAV·MP3로 저장하거나 원곡 영상에 입혀 MP4로 만들 수 있습니다.

내 연주로 교체 — 자동 시작 위치 맞춤, 구간별 타이밍 보정, 원곡 파트 크기 맞춤

악보와 영상

연주 영상 위에 악보를 띄우는 영상 위 악보 기능은 악보 파일을 불러오면 원곡이나 영상 속 소리를 기준으로 자동 싱크해, 연주에 맞춰 악보가 흘러가도록 합니다.

영상과 음원 결과물까지

분석과 싱크의 결과는 바로 영상과 음원 결과물로 이어집니다.

• 영상에 내 연주 입히기: 연주 영상, 원곡, 내 녹음을 불러와 베이스·기타·피아노·보컬·드럼·메인 보컬·코러스 등 고른 파트를 내 연주로 바꿉니다. 화면 효과, 제목 인트로, 영상 위 악보를 더하고 미리 본 뒤 저장합니다.
• 영상에 음원 입히기: 영상과 따로 녹음한 음원의 시작 위치, 볼륨, 사용할 구간을 맞춰 새 영상을 만듭니다.
• 영상에 가사 넣기: 가사를 구간별로 싱크하고 글꼴·위치·출력 방식을 정해 자막이 들어간 MP4로 저장합니다. 최대 2GB, 10분 길이의 영상을 처리합니다.
• 키 변경·속도 조절: 곡의 키와 BPM을 자동으로 분석하고, 키는 반음 단위로, 속도는 50~200% 범위에서 서로 영향 없이 바꿉니다. 보컬 음색을 유지하는 옵션도 있습니다.
• 변환: 여러 파일을 대기열에 넣어 음원(mp3·wav·m4a·ogg·flac)과 영상(mp4·webm·mov) 형식, 해상도, 프레임레이트를 바꾸고, 영상에서 MP3만 추출합니다.

영상에 내 연주 입히기 — 교체할 파트 선택과 화면 효과·제목 인트로·영상 위 악보

이 밖에 빈 오선부터 악보와 TAB을 그리는 악보 직접 만들기, 지판·코드 사전·5도권·조옮김·메트로놈·애드립 훈련 같은 음악 이론·연습 도구가 같은 스테이션 안에서 제공됩니다.

모든 결과물은 사용자의 기기에서 만들어지기 때문에, 처리 시간은 파일 길이와 기기 성능에 따라 달라집니다. AI가 만든 분리 트랙과 악보는 빠른 출발점을 제공하고, 최종 품질은 같은 화면의 편집 기능으로 다듬도록 설계했습니다.