24/192 초고해상도 음원의 무의미함에 대하여 (전편)

원문 : https://people.xiph.org/~xiphmont/demo/neil-young.html

24/192 Music Downloads ...and why they make no sense

 

24bit/192kHz 음원을 감상에 사용하는 것이 어째서 불필요한가에 대한 글입니다.

원문이 전편/후편으로 나누어져있지는 않지만, 그걸 한번에 다 번역하려다가는 평생 못 올릴 것 같아서 임의로 나누어 올립니다.

마찬가지로, 원문 각주들까지 번역하다가는 평생 못 올릴 것 같아 제외하고 올립니다.

 

전편에서는 192kHz 샘플링이 어째서 필요 없는가에 대하여 다룹니다.

 

 

---

 

 

지난 달, 음악가 닐 영(Neil Young)과 애플의 스티브 잡스의 '타협없는 스튜디오 품질' 음원 다운로드 서비스 협의에 대한 기사들이 났습니다. 언론과 네티즌들은 이것이 24bit / 192kHz 음원 서비스에 대한 것이라 추측하며 열광했죠. 24/192는 몇달 전 나와 닐 영 관계자들과의 대화에서도 특별한 화두였습니다.

안타깝지만, 24bit/192kHz 음원 배포는 의미없는 일입니다. 16/44.1 나 16/48 음원보다도 음질(fidelity)이 미세하게 나쁘며, 용량은 6배나 더 먹습니다.

실제, 최근 디지털 음원 시장의 음질과 '체험'에는 문제가 있습니다. 하지만, 24/192로는 이 문제들 중 어느 하나 해결 할 수 없죠. 모두가 24/192를 마법의 해결책으로 떠받들고 있는 한, 우리는 어떠한 진짜 진전도 만들지 못할 것입니다.

# 먼저, 나쁜 소식
몇주 전, 충분히 똑똑하고 과학적인 사고를 할 수 있는 한 무리의 사람들과 대화를 나눴습니다. 이들은 24/192 음원이 더 좋을 거라는 데 추호의 의심도 없었죠. 이 때 나온 질문들은 지금 우리가 제기할 의문을 답변하기에 적당했습니다.

저 역시 고해상도 음원 신봉이 어떤 맥락에서 나온 지 알고 싶었습니다. 놀랍게도, 몇몇 사람들은 기초적인 신호 이론이나 샘플링 이론에 대해서도 숙지하고 있었죠. 수학이나 기술, 생리학에 대한 몰이해가 대화 전반에서 드러났습니다. 음향에 대한 전문지식을 가진 전문가들도 예외는 아니었죠. 심지어 어떤 사람은 샘플링 이론으로는 디지털 음향기기의 동작을 못 설명한다 주장했습니다.

잘못된 정보와 미신은 사기꾼에게나 유용합니다. 그러면 지금부터, '진짜' 개선을 위해 무엇이 필요한지 다루기 전에, 24/192 음원이 왜 소용이 없는가에 대한 기초이론에 대하여 말해보고자 합니다.

## 여러분의 귀를 소개합니다
사람은 달팽이관 안 기저막에 달린 섬모를 통해 듣습니다. 각각의 섬모들은 기저막 상의 위치에 따라 특정 주파수 대역에만 반응하도록 발달했죠. 이 반응의 크기는 대역 중간에서 최고점을 찍은 후, 떨어지는 약간 치우쳐진 고깔 모양을 갖습니다. 이 고깔모양이 근처 섬모의 고깔과 겹쳐 있죠. 만일 어떤 소리 대역에 맞는 섬모가 없다면, 그 소리는 들을 수 없는 소리입니다.

 

왼쪽: 달팽이관 해부 단면도. 기저막을 베이지 색으로 나타냄.

기저막은 위치에 따라 다른 소리에 공명하도록 발달되었음.

고막에 가까울 수록 저대역을 담당하며, 멀 수록 고대역을 담당함.

대략적인 주파수 위치가 표시됨.

오른쪽: 각 기저막 위의 섬모들이 담당하는 주파수 대역을 개략적으로 설명해주는 그래프.

 

라디오에서 주파수를 조정할 때, 방송 주파수가 멀어질 수록 소리가 점점 왜곡되다가, 결국 완전히 안 들리게 되는 것과 마찬가지 원리입니다. 마지막 섬모가 담당하는 주파수 대역을 벗어나게 되면, 이것이 가청 주파수의 한계가 됩니다.

## 샘플링 레이트와 가청 스펙트럼
인간의 가청 영역이 20Hz에서 20kHz에 걸쳐 있다는 말은 정말 많이 들어보셨을 겁니다. 이 숫자들이 어떻게 도출됐는지 아는 것이 중요합니다.

먼저, 참여자들로부터 '절대 가청 한계'를 전 주파수 대역에 걸쳐 측정합니다. 이를 측정하면, 건강한 사람의 귀가 들을 수 있는 최소 소리 크기가 주파수에 따라 어떻게 변하는지에 대해 알 수 있습니다. 무반향실에서, 정밀하게 보정된 기기들을 사용하고, 엄격한 통계 분석을 통하여 도출된 결과입니다. 음향에 대한 집중력과 귀는 금방 피로해지기 때문에, 이런 실험들은 청취자들이 생생할 때 이루어져야 합니다. 다시 말하면 많은 중단과 휴식들이 필요합니다. 이런 실험을 수시간 내지 수 일에 걸쳐 합니다.

Fletcher and Munson(1933)의 연구에 최근 연구를 종합해서 얻어낸 등가청곡선.

절대 가청 한계 / 통증 한계가 적색으로 표시됨.

근래까지 반복된 연구로 조금씩 수정되어 왔으며,

최근 연구결과에서는, Fletcher and Munson에 비하여 저대역에 덜 민감하다 나타남.

 

인간의 가청주파수 상한은, 가청 한도가 통증 한도를 넘어버리는 곳으로 정의됩니다. 이 지점 이상에서도 희미하게 소리를 들을 순 있겠지만, 못견딜 정도로 큰 소리일 것입니다.

저주파 대역에서는 달팽이관이 울림통처럼 작용합니다. 달팽이구멍(helicotrema)은 기저막 끝에 위치한 입구고, 사람에 따라 다르지만 40~65Hz 근처 소리를 전달하는 통로 역할을 합니다. 이 아래 소리 응답률은 급격히 떨어집니다.

종합하면, 20Hz~20kHz가 넉넉잡은 영역입니다. 이는 가청 스펙트럼을 완전히 포함하는 영역이며, 수 세기의 실험 결과들이 이를 뒷밭침합니다.


## 황금귀
많은 사람들이 듣는 것에 특별한 재능을 가진 사람이 있다고 합니다. 이런 '황금귀'들은 정말로 있는 걸까요?

'황금귀'를 어떻게 정의하느냐에 따라 달라질 것입니다.

젊고 건강한 귀는 늙고 손상된 귀에 비해서 잘 듣습니다. 몇몇 사람들은 예외적으로  보통 사람들은 있는지조차 모르는 소리나 음악의 미묘한 차이를 들을 수 있도록 훈련되었죠. 저 같은 경우 1990년대 mp3파일이 어떤 프로그램으로 인코딩 되었는지 블라인드 테스트로 맞출 수도 있었습니다(당시 mp3 기술이 완전히 성숙하지 않았음).

저라면, 건강한 귀와 잘 훈련된 구분법이 결합되었을 때, 그런 사람을 황금귀라 부를 것입니다. 평균 이하의 청각을 가진 사람도 일반 청취자에 비하여 더 훈련받을 수 있습니다. 황금귀란 청력보다는 훈련의 영역에 가깝습니다.

청각 연구자들은 정말로, '특별한' 청력을 가진 사람들을 찾고, 시험하고, 문서화하는 것을 좋아합니다. 보통 사람을 연구하는 것도 좋지만, 정말 이런 돌연변이에 가까운 특출난 사람을 연구하면 끝내주는 논문을 뽑아내기 좋거든요. 하지만 100여년 정도 연구해봤지만 찾지 못한 걸 보면, 그런 사람 없는 것 같습니다. 죄송합니다. 계속 찾아보고는 있어요.


## 스펙트럼 성애자
지금까지 제가 쓴 글을 회의적으로 보신 분들이 계실겁니다. 기존 마케팅 자료들과 완전히 다른 내용을 주장하고 있죠. 그렇다면, 기존 오디오파일들의 지식의 창고를 완전히 벗어나서, 상상속 끝내주는 광대역 비디오를 생각해 봅시다.

 

가시광선 스펙트럼에 따른 사람 눈의 시세포(간상세포, 원추세포) 로그스케일 반응도
청세포와 비슷하게 서로 겹쳐있음

 

사람의 눈은 제한된 영역의 전자기파, 즉 가시광선만을 볼 수 있습니다. 이것을 음파와 가청영역에 대응시킬 수 있겠죠. 귀와 마찬가지로 눈도 시세포(간상세포와 원추세포)를 통하여 겹친 대역의 빛을 감지합니다.

가시광선은 400THz(적색)와 850THz(자색)에 걸쳐 있습니다. 이를 지나면 인지 능력이 현저히 떨어지죠. 이를 벗어난 빛을 보기 위해서는, 망막을 구워 버릴 정도의 강력한 빛이 필요합니다. 이 숫자 또한 젊고 건강하고 돌연변이 급으로 뛰어난 시각을 가진 사람들의 가시영역을 포함한 넉넉잡은 영역입니다.

상상속 끝내주는 광대역 비디오로 돌아가봅시다. 자신이 이 영역을 벗어난 빛들을 볼 수 있다 주장하는 열렬한 스펙트로그램 성애자들이 있다 생각해봅시다. 그들이 가시광선 뿐만이 아니라, 적외선과 자외선까지 담아낸 새로운 비디오 포멧을 제안합니다. 계속해서 점점더 하드코어하게 가는 사람들이 나오고, 비디오에 엑스선이나 초단파들을 포함했더니 더 자연스럽다 주장하는 사람까지 나타납니다. 황금눈들이 이는 낮과 밤같이 극명한 차이가 난다고 주장하죠.

물론 터무니 없는 소리입니다.

X선(또는 적외선, 자외선, 초단파)을 볼 수 있는 사람은 없습니다. 이는 그렇게 믿는지의 여부랑 상관 없습니다. 단순히 망막에는 이에 해당되는 하드웨어가 없습니다.

간단한 실험이 있습니다. 애플 리모콘을 가져와 보세요. LED에서 980nm 파장, 306THz 주파수의 빛을 쏩니다. 가시광선에서 그리 멀리 떨어져있지 않죠. 지하나 어두운 방에 한밤중에 가서 불을 다 끈 후, 눈이 어둠에 적응하도록 하세요.

디지털 카메라를 사용하여 애플 적외선 리모콘을 찍은 사진.

LED가 가시광선에 근접한 빛을 꽤 강하게 쏘는 데도 맨눈에는 절대 보이지 않는다.

버튼을 누를 때 리모콘에서 나오는 빛을 볼 수 있나요? 미세하게도 보이지 않을 것입니다. 다른 리모콘도 마찬가지입니다. 310-310THZ 근처의 빛은 가시광선에 좀 더 가깝지만, 여전히 보이지 않을 것입니다. 350-350THz 근처의 빛을 사용하는 리모콘이 있다면, 완벽한 암흑 속의 암순응된 눈을 사용해야 겨우겨우 빛이 나온다는 것을 알 수 있을 정도입니다. 만일 가시광선이었다면 순간 눈이 부실 강도의 빛인데도 말이죠.

이런 근적외선 LED들은 가시 주파수 한계에서 고작 20% 벗어나있습니다. 192kHz는 가청 한계 주파수에서 무려 400%나 벗어난 소리입니다. 청각과 시각은 한계 주파수 밖에서 비슷한 양상을 보이며 떨어집니다.

## 192kHz는 음질에 유해할 수 있다
192kHz 디지털 음원에서 얻을 수 있는 이득은 없습니다. Neutral하지도 않습니다. 실제 음질또한 살짝 나빠집니다. 초음파들이 원인이죠.

리시버나 앰프 모두 왜곡에서 자유로울 수 없습니다. 이런 왜곡은 극저음과 극고음에서 급격히 증가합니다. 리시버가 초음파를 재생하는 경우, 비선형성이 초음파의 일부를 가청영역으로 shift합니다. 이로 인해 발생하는 통제 불가능한 변조 왜곡이 가청영역 전체에 흩뿌려집니다.
앰프의 비선형성 또한 마찬가지 효과를 발생시킵니다. 이런 효과는 매우 미세하지만, 청음 테스트에서 확실히 왜곡이 들린다는 것이 확인됐습니다.

.09%의 nonvarying total harmonic distortion(THD)을 가진 가상의 앰프 상에서 30kHz, 33kHz 톤으로 인하여 발생한 변조 왜곡

변조 왜곡이 가청 대역(하늘색 영역)을 포함한 전 대역에 걸쳐서 왜곡을 발생시킴

 

초음파를 재생하지 못하는 시스템들은 훨씬 높은 왜곡 정도를 가지고, 변조 왜곡이 더욱 심하게 일어남

초음파를 재대로 재생하는 시스템을 만드는 경우, 상대적으로 가청 영역에서의 잡음과 왜곡 성능이 떨어짐

어떤 쪽으로던, 불필요한 초음파 재생이 성능 저하를 일으킴

왜곡을 회피하기 위한 몇가지 방법이 있습니다.

1. 초음파 전용 스피커, 앰프, 초음파를 분리해낼 교차 스테이지를 사용하여 당신이 들을 수도 없는 초음파를 분리 재생한다. 가청영역을 지켜내기 위해서.
2. 초음파까지 커버하는 초 광대역의 리시버와 앰프를 사용한다. 이렇게 하면 가청 영역에서의 변조 왜곡이 발생할 것이다. 같은 비용과 복잡도에서, 더 넓은 대역의 소리를 커버하기 위해서는 가청 영역에서의 성능 하락으로 이어진다.
3. 초음파를 재생하지 않도록 제작된 스피커와 앰프를 사용한다.
4. 초음파에 해당되는 부분을 음원에 넣지 않는다. 초음파가 없기 때문에 초음파에 의한 변조 왜곡이 사라진다.

결국 같은 결과지만, 4만이 현실적인 대안입니다.

만일 여러분의 오디오 시스템 성능에 대하여 궁금하다면, 아래 24/96 WAV, FLAC 파일들에 30kHz, 33kHz 소리를 담아 두었습니다.

Intermod Tests:

• 30kHz tone + 33kHz tone (24 bit / 96kHz) [5 second WAV] [30 second FLAC]
• 26kHz - 48kHz warbling tones (24 bit / 96kHz) [10 second WAV]
• 26kHz - 96kHz warbling tones (24 bit / 192kHz) [10 second WAV]
• Song clip shifted up by 24kHz (24 bit / 96kHz WAV) [10 second WAV]
      (original version of above clip) (16 bit / 44.1kHz WAV)

만일 정말로 완벽히 96kHz 재생이 가능한 시스템을 갖췄다면, 위의 음원들에서 잡음, 톤, 바람소리, 딱딱소리 등 어떠한 소리도 들을 수 없어야 합니다. 뭔가 들린다면, 오디오 시스템에서 변조 왜곡을 발생시키고 있다는 것입니다. 음량을 올릴 때는 조심하세요. 소리 clipping 한계를 넘기는 순간 갑자기 큰 변조 왜곡이 발생할 것입니다.

줄이자면, 초음파로 인한 이런 변조 왜곡이 들릴지 여부는 시스템 구성에 따라 다릅니다. 변조 왜곡이 경미할수도, 극심할 수도 있습니다. 다만 어느쪽이건, 초음파는 절대 득이 되는 방향으로 작용하지 않으며, 다수의 음향 시스템에서 음질을 저하시킵니다. 별 영향이 없는 시스템의 경우에도, 초음파를 처리하기 위해 추가적인 비용과 복잡도가 발생하게 됩니다.

## 샘플링에 대한 잘못된 생각과 오해
샘플링 이론은 신호처리에 대한 배경지식 없이 직관적으로 이해하기는 힘듭니다. 보통의 사람들, 심지어는 다른 분야의 박사급 되는 명석한 사람들 조차 잘못 이해하고는 합니다. 많은 사람들이 자신이 틀렸다는 것 조차 모르죠.

샘플링된 신호의 모양이 거친 계단 모양(적색)으로, 원본 신호와 동떨어진 모양으로 묘사되곤 함.

하지만 실제로는 디지털 신호가 아날로그 신호로 변환되었을 때,
수학적으로 원본과 완전히 동일한 부드러운 선으로 묘사하는 것(청색)이 정확한 표현임.

 

흔히 오해하는 것이, 샘플링은 거칠고 유손실이라는 것입니다. 샘플링된 신호는 삐죽삐죽하고 모서리가 날카로운 계단모양으로 묘사되곤 합니다. 만일 이게 맞다면, 샘플링 래이트가 높을 수록(비트수가 높을 수록) 계단이 촘촘해져 원래 아날로그 신호에 더 가까워 질 것이라 생각하는 것입니다.

마찬가지로, 많은 DSP 비전문가들은 아래 그림을 보고서

'억' 소리를 내겠조. 샘플링된 신호가 아날로그 파형을 나쁘게 표현하는 것 처럼 보이니깐요. 소리의 주파수가 높아질 수록 샘플링된 품질이 나빠지거나, 입력 위상에 더 민감해지는 것처럼 보이죠.

보이는 것에 현혹되지 마세요. 이건 틀린 생각입니다.

 

2013-04-04 추가:
디지털 파형과 계단현상에 대하여, 실제 디지털 장비가 어떤 식으로 작동하는지 직접 실험하여 영상을 찍었습니다.

여기에 더이상 설명을 늘어놓을 필요가 없도록요. (역자주: YouTube 미러)

Nyquist frequency(샘플링 레이트의 절반) 아래에 존재하는 모든 신호들의 내용물은 완전 무결하게 포집할 수 있습니다. 따라서 무한대로 올라가는 샘플링 래이트는 불필요합니다. 샘플링이 주파수 응답이나 위상에 영향을 주지 않습니다. 아날로그 신호는 손실 없이, 부드럽게, 정확한 타이밍으로 재생될 수 있습니다.

이론적으로 완벽하다면, 현실 세계에서는 어떨까요? 가장 골치 아픈 부분은 대역 제한이 필요하다는 것입니다. Nyquist frequency를 넘어서는 내용물은 반드시 lowpass 처리 되어야 합니다. (아날로그 lowpass는 덜 알려진 anti-aliasing 필터입니다.) 이상적인 anti-aliasing 필터는 존재하지 않습니다만, 최근 들어서는 이상에 꽤 근접한 상태입니다.... 이제부터 oversampling에 대하여 다뤄봐야 하는 이유죠.

(역자주: 이러한 신호에서 계단 모양으로 보이는 '각진' 신호들을 aliasing이라 표현합니다. 그리고 이 aliasing들은 Nyquist frequency를 넘어서는 고주파 신호에 해당됩니다. 그래서 '계단'들을 제거하려면 고주파 신호를 제거하는 lowpass 필터를 사용하면 되죠. 이런 aliasing을 제거하는 작업을 통틀어 anti-aliasing이라 합니다.)

 

## 오버샘플링
48kHz를 넘는 샘플링 래이트는 고음질 음향 데이터에 그다지 중요한 부분이 아닙니다. 다만, 현대 디지털 음향 기술 내부에서는 중요하게 다뤄집니다. 오버샘플링이 가장 좋은 예가 되겠네요.

오버샘플링은 간단하지만 영리합니다. 이전 영상을 보시면 알겠지만, 높은 샘플링 래이트는 우리가 원하는 대역폭(20kHz) 위로 추가적인 여유분을 확보해줍니다. 이를 이용하면 좀더 간단, 매끈, 신뢰성있는 아날로그 anti-aliasing 필터를 만들 수 있게 해줍니다. 20kHz와 Nyquist frequency(샘플링 래이트/2) 사이의 공간이 아날로그 필터에서 일종의 완충 작용을 해줍니다.

48kHz(좌)와 96kHz(우) ADC/DAC 상에서 이용가능한 전환 대역

이제 절반 왔습니다. 디지털 필터는 아날로그 필터에 비하여 제약사항이 있기 때문에, anti-aliasing을 좀더 효과적이고 정확하게 해낼 수 있습니다. 초고주파 신호가 디지털 anti-aliasing 필터를 통과하는 경우, 좁은 전환 대역 내에 끼워넣는데 문제가 없습니다. 디지털 ant-aliasing이후, 여분의 샘플들은 그냥 버리면 그만입니다. 오버샘플 재생은 대략 이것의 역입니다.

다시 말하자면, 이는 비교적 저대역의 44.1kHz나 48kHz만 사용해도 192kHz 에서 얻을 수 있는 음질적 이득(부드러운 주파수 응답, low aliasing)을 아무런 대가(초음파로 인한 변조 왜곡, 용량 낭비) 없이 얻을 수 있다는 것입니다. 현대의 거의 모든 ADC와 DAC들이 매우 높은 래이트로 오버샘플링을 사용합니다. 이런 일이 뒤에서 이루어지고 있다는 걸 아는 사람은 거의 없는데, 이게 뒤에서 은밀히 자동적으로 수행되기 때문입니다.

ADC와 DAC가 항상 완벽하게 오버샘플링을 했던 건 아닙니다. 30여년 전, 몇몇 녹음 장비들은 높은 샘플링 래이트를 아날로그 필터만을 사용해서 녹음했습니다.  이후 프로덕션과 마스터링에도 이 고 샘플링 신호를 그대로 사용했죠. 디지털 anti-aliasing과 다운샘플 작업(CD나 DAT포멧에 맞추기 위하여)은 마스터링의 끝에서 이루어졌습니다. 이 것이 96kHz나 192kHz가 전문 음악 프로덕션에 사용되는 이유 중 하나입니다.

 

(역자주: 이 단락 내용이 좀 어렵습니다만, 요지는 다음과 같습니다. 디지털 아날로그 변환의 효과적인 anti-aliasing을 위하여 96kHz, 192kHz 등의 고대역폭이 사용됩니다. 다만 이는 ADC, DAC 내부에서 사용자가 모르게 자동으로 이루어집니다. 96kHz등의 고대역폭은 변환 도중에만 사용되기 때문에, 이를 사용자가 직접 다룰 필요가 없다는 뜻이죠.)

 

---

 

후편에서는 24bit가 왜 불필요한가에 대하여 다룹니다.

언젠가 올라옵니다......

언젠가.......

 

 

(2017-01-22) 후편을 올렸습니다.

24/192 초고해상도 음원의 무의미함에 대하여 (후편)