[討論] 以 AI 提升老錄音的音質?

jenchan201

[0] 借個 DRC 的版面，讓小弟在此發這個 post，謝謝!

[0.1] 會進來 DRC 討論區看文的，多少對 DSP 有點概念吧。
比較容易有交集

[0.2] 相對比現在主流平台 YT, FB, IG.......
我還是喜歡 MyAV 這種 (web 2.0?) 平台求教、討論、學習這類議題，只可惜傳統平台逐漸凋零

[0.3] 文章要短，大家都很忙! 我盡量

[0.4] 本串目的，尋求底下的辦法

"我電腦中有拉赫曼尼諾夫 (Rachmanninoff) 演奏的拉赫曼尼洛夫鋼琴協奏曲

可不可以借由 AI，把它的音質變得更好?" [/SIZE]



Pic.: 1934, 1940, 1941 的錄音, RCA 6659-2-RC

jenchan201

先來確定目標，即、想改善啥 [音質]?

以下是在下的想法，大大們可指點、指正:

[1.1] 降躁
音樂、錄音的降躁 AI 軟體，google 就有，還有免費的軟體!
效果? 小弟還沒試過，請大神指教

[1.2] 音色
以前的錄音設備啊，音色、泛音、高頻缺缺，想辦法差補嘍
這就像低解析的老照片、影片，可藉由 AI 搞成高解析的
影像上我玩過 CodeFormer，這可不是傳統點像線性或多項式差補喔

錄音上我就沒 Google 到 AI 的軟體 (或網站)?
還原 Steinway & Sons 鋼琴的音色吧，
背後管絃樂的樂器音色也補一下，希望能比我兒子 NT 3500 小提琴的音色要好吧，松香味、醍醐味、我曾在一把單簧管上用老英國油保養，是有味道的

[1.3] 音場 (sound stage)
其實我比較想弄的是 1990 以前 DG (Deutsche Grammophon GmbH) 的錄音
早年 TAS (The Absolute Sound) 榜單多 DECCA、EMI，很少 DG 的，但很多當代大師錄 DG 啊

[1.4] 音像 (image)
恩.......

[1.x] 還有啥?
以前曾經注意不同年代、區域有 A=440Hz 與 442Hz 之差，
這個好像一般 DSP 就可搞定，不需要 AI

以上就是在下想到想要改善的音質項目
阿你說等那些軟體廠改就好啦! 幹嘛自己弄?

是啊! 在下手中 rip N片 CD ，自己 處裡 免費啊，
我有興趣的錄音，那錄音公司也未必有興趣

以前有甚麼 up-sampling 之類的
我有一些盒裝 re-master 的 CD，什麼 xx 全集，N 週年
通常與舊版比了三片後，剩下 CDs 連塑膠膜都沒拆啦，擺了快 20 年.....也不知裡面是否氧化了

jenchan201

歡迎交流心得、指點在下

[2.1] 希望有玩過、聽過、看過的先進前輩，不吝指點、指教


[2.2] 找看看現在是否有現成的 AI 音效軟體

影像類有 CodeFormer，玩過之後覺得，AI 真的是進入家庭了

audio 查了些 AI 軟體，大多是降躁，或是錄音時補正、增強

我相信各大錄音公司 (Decca, EMI, Philips, Virgin, DGG, SONY.....) 一定有發展它的 AI 去再現老錄音，能賣錢啊


[2.3] 以上若無，那就........自己研究、開發嘍

德不孤、必有鄰

謝謝!

pis99

不知道是否是AI, 但有試過覺得有意思的軟體有兩個，都是要使用運算能力強大的電腦。

1. PGGB, off-line remastering. 現在也可以 on-line.

2. Hqplayer, on-line upsampling.

原發表者是 jenchan201
[B]歡迎交流心得、指點在下

[2.1] 希望有玩過、聽過、看過的先進前輩，不吝指點、指教


[2.2] 找看看現在是否有現成的 AI 音效軟體

影像類有 CodeFormer，玩過之後覺得，AI 真的是進入家庭了

audio 查了些 AI 軟體，大多是降躁，或是錄音時補正、增強

我相信各大錄音公司 (Decca, EMI, Philips, Virgin, DGG, SONY.....) 一定有發展它的 AI 去再現老錄音，能賣錢啊


[2.3] 以上若無，那就........自己研究、開發嘍

德不孤、必有鄰

謝謝! [/B]

jenchan201

感謝樓上 pis99 大大 的指點
在下會試試那兩個

jenchan201

在下也稍微 Google 爬文，關鍵字是 AI Sound Enhancer，找出

Top 10 Best AI Audio Enhancers for Audio Denoise 2023


Table source: topten.ai, 2023


原文網址:
https://topten.ai/best-ai-audio-enhancer-review/
https://topten.ai/voice-generator-review/

jenchan201

先來試試看 [1.1] 降躁，這應該是最簡單的

既然簡單，就要出難題給 AI 程式，我選了喇叭花的 Burn-in 訊號

請參考
https://www.discogs.com/release/ ... XLO-Test-Burn-In-CD

這裡我上傳 Track 7 & track 8，給各位先進同好參考

https://mega.nz/file/OB1URK7C#L0 ... vbjjYcl5vftcZWrsvY8

flac 格式，檔案為 The Sheffield Burn-in.7z

Track 7 是消磁音軌，順便上傳，這鬼野蠻好用



Track 8 燒雞音軌我用了好多年，它是白噪音 (36dB@20Hz ~ 56dB @ 20kHz)

加上一個掃頻 (56dB@80Hz sweep to 6.66kHz, 66dB)，如底下頻譜圖




AI 的降躁如果合理，應該會消掉白噪音，剩下掃頻 (swept sine)，頻譜兩相對照、效果如何就一目瞭然，希望如此

轉貼人

原本就不存在的東西要如何還原?

不太懂

Jahon177

原發表者是 轉貼人
[B]原本就不存在的東西要如何還原?
不太懂 [/B]

其實這不叫還原. 已經是 [無中生有]. 這就是目前AI 最利害的地方!

比如說你在圖上先畫兩個黑點, 其他再加一團綠。 然後用AI 生成圖面，補足其他空白部分.

AI可能把這兩個黑點當成是狗的眼睛, 或當成 馬, 鹿, 牛, 蒼蠅…等之類的眼睛. 這要看黑點相對大小, 黑團的形狀….等等. 然後綠色部分可能就推演出草地或農場之類

*** 說明一下: 為何不先考慮 虎, 貓, 羊, 豹的眼睛, 因為這些動物, 瞳孔是豎型, 虹膜顏色淡, 並非黑色.
而馬, 鹿, 牛，犬....等之類的眼睛, 再遠處暗處, 非清晰的圖面下, 看起來是黑褐色.

這過程叫反模糊推演(演算).

所以真的是 [無中生有].

版主說的不是不可能, 要求特殊, 說的也明確. 但我覺得每個都難度不小. 網路應該沒有現成的.  應該需要自己另開演算模組, 及大量訓練資料,

網路沒有 需自己來!　

Jahon177

原發表者是 jenchan201
[B]先來確定目標，即、想改善啥 [音質]?

以下是在下的想法，大大們可指點、指正:

[1.1] 降躁
音樂、錄音的降躁 AI 軟體，google 就有，還有免費的軟體!
效果? 小弟還沒試過，請大神指教

[1.2] 音色
以前的錄音設備啊，音色、泛音、高頻缺缺，想辦法差補嘍
這就像低解析的老照片、影片，可藉由 AI 搞成高解析的
影像上我玩過 CodeFormer，這可不是傳統點像線性或多項式差補喔

錄音上我就沒 Google 到 AI 的軟體 (或網站)?
還原 Steinway & Sons 鋼琴的音色吧，
背後管絃樂的樂器音色也補一下，希望能比我兒子 NT 3500 小提琴的音色要好吧，松香味、醍醐味、我曾在一把單簧管上用老英國油保養，是有味道的 [/B]

我直接把你的問題問Chat GPT
他回答如下：
你的想法非常有意思！音頻和音樂處理領域的AI正處於快速發展中，你提到的降躁和音色還原正好是熱門話題。以下是我的一些看法：

[1.1] 降躁

你提到的降躁已經有成熟的AI工具，比如：
        1.        Google的AudioSet：作為開源音頻數據集，它為開發降躁工具提供了豐富的數據支持。
        2.        RX系列（iZotope）：是音頻處理行業的標桿，其中的降躁工具被泛應用於電影、音樂製作中。
        3.        免費選項中也有像**Audacity（搭配插件）**這的工具，雖然功能相對簡單，但效果對得起它的價格（免費）。

效果如何？
取於目標場景和音頻質量。AI降躁技術可以很好地處理背景噪聲，但對複雜音頻（如人聲和背景樂混雜）可能會出現音質損傷。隨技術進步，未來效果會更加細膩。

[2] 音色還原

你提到的概念很前沿，AI補全低質量音頻的音色和泛音，類似於圖像領域的超分辨率處理。現在相關工具並不多，但可以探索以下幾種方向：
        1.        補全低頻和高頻的泛音
有類似功能的AI工具，比如：
      ‧   NeuralDSP：專注於吉他和貝斯音色的數字建模。
      ‧   Tone Transfer（Google Magenta）：能將一種樂器音色轉換成另一種樂器的音色，但也可以用於音質增。
      ‧   HQPlayer：雖然不是AI，但通過複雜的插值算法提升音頻的解析力。
        2.        目標：還原鋼琴或管絃樂音色
      ‧   目前沒有直接針對樂器音色還原的工具，但可以考慮以下方式：
        1.        使用采庫（比如Pianoteq或Kontakt Libraries）結合音頻輸入的AI工具。
        2.        自行訓練深度學習模型，用目標音源（如Steinway鋼琴錄音）訓練一個神經網絡，嘗試將普通錄音轉換為高質量音色。
        3.        自定解方案
如果市場上沒有現成工具，可以通過神經網絡或**深度學習框架（如TensorFlow或PyTorch）**嘗試以下：
      ‧   使用高品質錄音（如Steinway）和普通錄音對比，訓練一個音頻轉換模型。
      ‧   使用預訓練模型（如OpenAI的Jukebox）嘗試定制化開發。

下一步建議
        1.        技術驗證
      ‧   如果是DIY玩家，可以嘗試用現成的開源框架，比如：
         ‧   Demucs：適用於分離背景音、人聲等。
         ‧   Spleeter：分離音軌，可能對泛音補償有發。
        2.        市場調研
      ‧   你的想法若針對音樂製作人或音頻修復行業，值得調研他們的需求，尤其是哪些場景需要音色修復或泛音補全。
        3.        原型開發
      ‧   如果你想開發這類工具，建議從特定樂器或音頻類型入手，少複雜度。

你的想法很有力，說不定能激發一個新工具的誕生！