Điện thoại trả hàng nghìn số.

Waveform dày đặc chưa cho biết âm nào xuất hiện trước, âm nào xuất hiện sau.

Cần một biểu diễn cho thấy tần số nào xuất hiện ở lúc nào: spectrogram.

Nửa đầu: sine 200 Hz.

Nửa sau: sine 600 Hz.

Spectrogram đúng phải cho thấy 200 Hz rồi 600 Hz.

print(waveform.shape)
print(f"thời lượng = {duration:.3f} s")
print(f"khoảng mẫu = {interval_ms:.3f} ms")

Kết quả(2000,)
thời lượng = 1.000 s
khoảng mẫu = 0.500 ms

Cosine 350 Hz và 650 Hz có cùng mẫu khi $f_s=1000$ Hz.

Nyquist frequency: $f_s/2$. Thành phần $f\in(f_s/2,f_s)$ hiện ra ở $f_s-f$.

print(np.allclose(low_tone, high_tone))

Kết quảTrue

Thông tin không còn phân biệt được trong input.

waveform[::2]: còn 1000 Hz, Nyquist 500 Hz.

Đoạn 600 Hz gập về 400 Hz, vì ${1000-600=400}$.

Kết quảbỏ mẫu: 1000 mẫu, biên độ ở 400 Hz = 0.400
có lọc: 1000 mẫu, biên độ ở 400 Hz = 0.000

resample_poly lọc thông thấp trước: mất 600 Hz nhưng không bịa âm mới.

Giữ 2000 mẫu nhưng gắn 4000 Hz: phát trong 0.5 giây.

Resample lên 4000 mẫu ở 4000 Hz: vẫn 1 giây.

Kết quảđổi metadata: 0.500 s
resample: 1.000 s

Upsample không thêm âm cao mà bản ghi chưa từng có.

Window $L=200$ mẫu, tức 100 ms.

Hop $H=100$ mẫu, tức 50 ms.

Hann window làm hai đầu frame nhỏ dần.

Không padding:

Hop quyết định bước trượt; window quyết định đoạn được quan sát.

center=True đệm $L/2$ mỗi đầu:

print(power.shape)
peaks = np.argmax(power[:, [0, -1]], axis=0)
print(frequencies[peaks])
print(centers[[0, -1]].round(2))

Kết quả(101, 19)
[200. 600.]
[0.05 0.95]

101 hàng: bin tần số.

19 cột: frame.

Power trong bài là bình phương biên độ tương đối, không phải watt/Hz.

Window dài: tách tần số gần nhau tốt hơn, nhưng nhòe theo thời gian.

Window ngắn: định vị sự kiện nhanh tốt hơn, đỉnh phổ rộng hơn.

Zero-padding: lưới bin dày hơn, $f_s/n_{\mathrm{fft}}$ thay cho $f_s/L$.

Không thêm chu kỳ quan sát, nên không tăng độ phân giải thật.

Power $(1,4,1)$, trọng số $(0.5,1,0.5)$:

Mốc 5 cho 0 dB; power 0.5 cho $-10$ dB.

Kết quả(20, 101) (20, 19)
[-112.1    0. ]
True

True kiểm mọi giá trị log-mel đều hữu hạn. Chặn trước log để tránh -inf; dải hiển thị có thể hẹp hơn dải số.

$(0,0.2,-0.4,0.2)$ chia cho 0.4:

Kết quả[ 0.   0.5 -1.   0.5]
[0. 0. 0. 0.]
RMS trước = 0.245

Clip toàn 0 giữ nguyên, không chia cho peak 0.

Chuẩn hóa từng clip có thể xóa thông tin âm lượng hữu ích.

Hỏi trước: sau biến đổi, đáp án còn là đáp án cũ?

Nhãn cao độ nốt: pitch shift đổi nhãn. Nhãn transcript: crop mất từ đổi nhãn.

SpecAugment che một dải thời gian hoặc tần số trên log-mel, chỉ lúc train.

Điền 0 sau z-score là điền mean của band.