0

「スペクトラルノイズ除去による雑音除去」
https://www.ai-shift.co.jp/techblog/1305

のサイトから、ノイズ部分と音源分離後の音声データを書き込んだ後に
音声を再生したいと思っています。プログラム上だとSound Envelopがノイズ部分、
recovered_signalが音源分離後の音声?のはずです。この2つをwavファイルにすればできると思うのですがその方法を教えてほしいです。

下記のソースコードは、webサイトのプログラムを一部書き加えてあります。

!pip install librosa

import numpy as np
from scipy.ndimage import maximum_filter1d

def envelope(y, rate, threshold):
    """
    Args:
        - y: 信号データ
        - rate: サンプリング周波数
        - threshold: 雑音判断するしきい値
    Returns:
        - mask: 振幅がしきい値以上か否か
        - y_mean: Sound Envelop
    """
    y_mean = maximum_filter1d(np.abs(y), mode="constant", size=rate//20)
    mask = [mean > threshold for mean in y_mean]
    return mask, y_mean

import librosa


n_fft=2048  # STFTカラム間の音声フレーム数
hop_length=512  # STFTカラム間の音声フレーム数
win_length=2048  # ウィンドウサイズ
n_std_thresh=1.5  # 信号とみなされるために、ノイズの平均値よりも大きい標準偏差(各周波数レベルでの平均値のdB)が何個あるかのしきい値

def _stft(y, n_fft, hop_length, win_length):
    return librosa.stft(y=y, n_fft=n_fft, hop_length=hop_length, win_length=win_length)

def _amp_to_db(x):
    return librosa.core.amplitude_to_db(x, ref=1.0, amin=1e-20, top_db=80.0)



sample_rate= 32000

# 音声ファイルの読み込み
#noise_clip = open(r"C:\Users\1818067\birdvoice.wav")

path=r'C:\Users\1818067\birdvoice.wav'
sig, _ = librosa.load(path, sr=sample_rate)

# ノイズデータ取得
mask, noise_clip = envelope(sig, sample_rate, threshold=0.03)




noise_stft = _stft(noise_clip, n_fft, hop_length, win_length)
noise_stft_db = _amp_to_db(np.abs(noise_stft))  # dBに変換する

mean_freq_noise = np.mean(noise_stft_db, axis=1)
std_freq_noise = np.std(noise_stft_db, axis=1)
noise_thresh = mean_freq_noise + std_freq_noise * n_std_thresh

import librosa
from envelop import envelope
import scipy


n_grad_freq = 2  # マスクで平滑化する周波数チャンネルの数
n_grad_time = 4  # マスクを使って滑らかにする時間チャンネル数
prop_decrease = 1.0  # ノイズをどの程度減らすか


#data = open(r'C:\Users\1818067\birdvoice.wav')
#audio_clip = envelope(data).envelop

sample_rate= 32000

# 音声ファイルの読み込み
#noise_clip = open(r"C:\Users\1818067\birdvoice.wav")

path=r'C:\Users\1818067\birdvoice.wav'
sig, _ = librosa.load(path, sr=sample_rate)

# ノイズデータ取得
audio_clip, rate = librosa.load('birdvoice.wav')


# 音源もSTFTで特徴量抽出する
sig_stft = _stft(audio_clip, n_fft, hop_length, win_length)
sig_stft_db = _amp_to_db(np.abs(sig_stft))

# 時間と頻度でマスクの平滑化フィルターを作成
smoothing_filter = np.outer(
        np.concatenate(
            [
                np.linspace(0, 1, n_grad_freq + 1, endpoint=False),
                np.linspace(1, 0, n_grad_freq + 2),
            ]
        )[1:-1],
        np.concatenate(
            [
                np.linspace(0, 1, n_grad_time + 1, endpoint=False),
                np.linspace(1, 0, n_grad_time + 2),
            ]
        )[1:-1],
    )
smoothing_filter = smoothing_filter / np.sum(smoothing_filter)

# 時間と周波数のしきい値の計算
db_thresh = np.repeat(
        np.reshape(noise_thresh, [1, len(mean_freq_noise)]),
        np.shape(sig_stft_db)[1],
        axis=0,
    ).T
sig_mask = sig_stft_db < db_thresh
sig_mask = scipy.signal.fftconvolve(sig_mask, smoothing_filter, mode="same")
sig_mask = sig_mask * prop_decrease

mask_gain_dB = np.min(_amp_to_db(np.abs(sig_stft)))

def _db_to_amp(x,):
    return librosa.core.db_to_amplitude(x, ref=1.0)

sig_stft_db_masked = (
        sig_stft_db * (1 - sig_mask)
        + np.ones(np.shape(mask_gain_dB)) * mask_gain_dB * sig_mask
)

def _istft(y, hop_length, win_length):
    return librosa.istft(y, hop_length, win_length)

sig_imag_masked = np.imag(sig_stft) * (1 - sig_mask)
sig_stft_amp = (_db_to_amp(sig_stft_db_masked) * np.sign(sig_stft)) + (1j * sig_imag_masked)

recovered_signal = _istft(sig_stft_amp, hop_length, win_length)

2 件の回答 2

1

以下のような感じでlibrosaの最近の版にはファイル出力機能そのものが無く、soundfileという別のパッケージでやってくださいと記述されています。

librosa 0.7.2
librosa.output.write_wav(path, y, sr, norm=False)

This function is deprecated in librosa 0.7.0. It will be removed in 0.8. Usage of write_wav should be replaced by soundfile.write.

librosa 0.8.1
Write out audio files

PySoundFile provides output functionality that can be used directly with numpy array audio buffers:

SoundFile
soundfile.write(file, data, samplerate, subtype=None, endian=None, format=None, closefd=True)

Examples
Write 10 frames of random data to a new file:

>>> import numpy as np
>>> import soundfile as sf
>>> sf.write('stereo_file.wav', np.random.randn(10, 2), 44100, 'PCM_24')

他の参考記事:
librosaにおける16-bitでのWAV書き出し


なので例えばrecovered_signalをファイルにするには以下のようにすれば良いでしょう。

import soundfile as sf

sf.write('clearvoice.wav', recovered_signal, 22050, subtype='PCM_16')

そしてwavファイルを再生するには、こちらの記事に記載されているどれかを使えば良いでしょう。
Pythonでサウンドを扱う

例えば上記記事で最初に記載されているplaysoundなら、以前の質問にあったように最新版だとエラーになるので、
playsoundを使って音声を再生しようとするとエラーが発生する

一つ前の版をインストールしておいて、

pip install -U playsound==1.2.2

以下のように呼び出せば良いと思われます。

from playsound import playsound

playsound('clearvoice.wav')
1
  • こちらのプログラムを使いwavファイル変換ができるようになりました!ありがとうございます!
    – user48401
    Commented 2021年10月13日 13:31
0

実行するとcannot import name 'envelope' from 'envelop'となるのですが
修正後のコードを見せていただけないのでしょうか?

2
  • このサイトは掲示板では無く1つ1つの質問毎に別々の記事を起こす形式です。何か疑問や課題があるなら新たな質問記事を起こしてください。とは言え、ここの質問記事に掲載されたソースコードに関するその現象は、from envelop import envelopeの行を削除するかコメントアウトすれば解決すると思われます。
    – kunif
    Commented 2022年6月21日 15:58
  • 新しい質問がある場合は、[質問する]ボタンをクリックして質問してください。コンテキストの理解に役立つ場合は、この質問にリンクを含めてください。 - レビューより
    – supa
    Commented 2022年6月25日 10:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。