STT 인식율 개선을 실험하는 레포지토리
오디오 전처리 디렉토리
📦audio_enhancer
┣ 📜audio_enhancer.py \\ 이퀄라이징과 소음제거 처리 파일
┣ 📜audio_processing.py \\ 모든 오디오 전처리 과정을 통합한 파일
┣ 📜deep_filter_noise_remove.py \\ deepfilternet 으로 소음 제거를 하는 파일
┣ 📜equalizer.py \\ 이퀄라이징만 적용하는 파일
┣ 📜noise_remove.py \\ pydub으로 소음 제거를 하는 파일
┣ 📜normalizer.py \\ 오디오 정규화를 하는 파일
┣ 📜trch.py \\ 이퀄라이징 초기버
┗ 📜vad.py \\ 음성의 시작과 끝을 감지하고 음성부분만 잘라주는 파일
형태소 분석
##stt stt 관련 파일 디렉토리
📦stt
┣ 📜cer_nlptutti.py \\cer 측정 (정확도 측정) ref.txt 와 stt.txt를 비교
┣ 📜ref.txt \\ 정확도 비교할 원본 대사
┣ 📜returnzero.py \\ 리턴제로에 stt 요청하는 파일
┗ 📜stt.txt \\ 리턴제로 stt 결과
음성파일
- 환경: 테스트 환경 (조용, 노래, 잡담 등)
- 마이크: 맥북, 윈도우, 줄마이크, 옹알거리기, 브라우저 마이크 잡음 제거 끄기
- STT 결과: returnzero 사용
- CER: nlptutti 라이브러리 사용
Reference
안녕하세요, 여러분. 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리쬐고, 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나, 공원에서 시간을 보내는 것이 좋을 것 같습니다.
| 환경 | STT 결과 | CER |
|---|---|---|
| 조용_맥북_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 뇌이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0} |
| 노래_맥북_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0} |
| 잡담_맥북_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0} |
| 환경 | STT 결과 | CER |
|---|---|---|
| 조용_열악한_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리채고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0} |
| 노래_열악한_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 핫뜻이 따뜻하게 냄쬐고 바람이 시원하게 벌고 있습니다. 이런 날씨에는 산책을 나가거나 공원해서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.08, 'substitutions': 5, 'deletions': 1, 'insertions': 0} |
| 잡담_열악한_마이크 | 그 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리채고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02631578947368421, 'substitutions': 1, 'deletions': 0, 'insertions': 1} |
| 환경 | STT 결과 | CER |
|---|---|---|
| 조용_줄_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0} |
| 노래_줄_마이크 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내이 쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책에 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0} |
| 잡담_줄_마이크 | 오늘 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.05194805194805195, 'substitutions': 2, 'deletions': 0, 'insertions': 2} |
| 환경 | STT 결과 | CER |
|---|---|---|
| 조용_웅얼거림 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내비떼고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0} |
| 노래_웅얼거림 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리쬐고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.0, 'substitutions': 0, 'deletions': 0, 'insertions': 0} |
| 잡담_웅얼거림 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0} |
| 환경 | STT 결과 | CER |
|---|---|---|
| 조용_줄_마이크_생 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.02666666666666667, 'substitutions': 2, 'deletions': 0, 'insertions': 0} |
| 노래_줄_마이크_생 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내리떼고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나가거나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.013333333333333334, 'substitutions': 1, 'deletions': 0, 'insertions': 0} |
| 잡담_줄_마이크_생 | 안녕하세요, 여러분, 오늘은 날씨가 정말 좋네요. 햇볕이 따뜻하게 내립되고 바람이 시원하게 불고 있습니다. 이런 날씨에는 산책을 나다보나 공원에서 시간을 보내는 것이 좋을 것 같습니다. | {'cer': 0.05333333333333334, 'substitutions': 4, 'deletions': 0, 'insertions': 0} |