docs: define simulator execution plan
This commit is contained in:
@@ -0,0 +1,33 @@
|
||||
정방형 평면에 192개의 MEMS마이크를 배치한 acoustic camera(이하 AC)를 만들계획이다.
|
||||
192개나 되는 마이크의 배열을 어찌해야할지 정해야하기 때문에, 아래의 시뮬레이션을 만들어야 한다.
|
||||
1. 음원을 주워다가 발음시키고,
|
||||
2. 그 발음된 소리를 AC에 도달시키고
|
||||
3. AC는 DAC를 수행(DAMAS나 clean-sc같은거는 후처리니까 나중에 할 것)해서 acoustic image를 얻는다.
|
||||
4. 음원을 우리가 합성해서 재생했으니까, 그 ground truth를 바탕으로 평가까지 해야하고,
|
||||
5. 배치는 물론 이런저런 파라메터를 바꾸면서 테스트해볼 수 있는 시뮬레이션
|
||||
|
||||
시뮬레이션 작성은 브라우저+GPU가 빠를것으로 생각되나, 더 나은 접근이 있다면 그것을 제시해라
|
||||
다만 WGSL로 작업하면 나중에 행렬연산은 glsl로 포팅하기 쉬울 것이므로 약간의 가중치가 있다.
|
||||
|
||||
화면에는 오른편에 마이크배열의 geometry, (마이크 배열은 json으로 그 크기와 각 마이크의 좌표를 받아올 수 있도록)
|
||||
왼편에는 기기의 이미지 grid랑 정답의 정보/힌트, 그리고 우리가 빔포밍을 수행한 결과의 overlay가 있어야 한다.
|
||||
이미지 크기는 폭을 최소, 대략 600px정도 잡으면 되겠고, 빔포밍은 50x50정도가 하한이다. (더 정밀하게 하려면 컴퓨팅 파워가 얼마나 더 필요하게 될지 추산도 필요하다)
|
||||
하단에는 오른편 마이크배열 그림 아래에는 각종 파라메터 입력이 있어야 한다.
|
||||
|
||||
파라메터의 종류는 음원의 갯수, 음원으로부터의 거리(조절가능), 보고싶은 주파수대역(멀티구간으로, 다른색),
|
||||
추가하고싶은 ambient sound파일, 빔포밍포인트수, 후처리알고리즘 선택, 등이 되겠다. 더 필요해보이는게 있다면 역시 제시해라.
|
||||
|
||||
|
||||
음원을 만들려면 ambient 도 있어야하고, 특정 부분에서 나는 소리도 있어야 할것으로 예상되는데,
|
||||
그걸 합성할 데이터셋은 DCASE 의 task 2를 쓰거나 - (요소로 쓰기좋게 flatten 하기엔 안좋을 수도 있으니 별도의 평가가 필요하다)
|
||||
MIMII dataset 같은거를 쓰면 아마 바라보는 장면의 특정 부위에서 기기의 소리가 나도록 데이터셋을 구성할 수 있을 것이다.
|
||||
거기에 AC는 음원에서 수 m 떨어져있을테니까 거리도 조절 할 수 있도록 해야한다.
|
||||
일단은 잔향은 배제하고 구형으로 전파되는 상황을 가정해서 시뮬레이션 해라. 다만 추후 잔향 시뮬레이션이 필요할수 있으므로 확장 가능성을 염두에 둬라.
|
||||
|
||||
데이터셋/정답을 만드는 프로그램과 그걸 playback 해서 DAC를 수행하는 프로그램을 분리해서 만들어라.
|
||||
html 페이지 둘로 만드는게 나을 수도 있는데, ground truth 만들기가 쉽고 빠르다면 그냥 만들어도 무방하다. 이에 대한건 스스로 한번 평가해라.
|
||||
|
||||
정리하자면 이 프로젝트의 골은
|
||||
1. 데이터 셋으로부터, 실제 환경에서 나는 것 같은 음원을 만들고,
|
||||
2. 마이크 정보를 가지고 steering vector를 만들어서, 그 소리를 듣는 것을 시뮬레이션 하고,
|
||||
3. 그것으로 acoustic image를 만드는 또 다른 시뮬레이션을 WGSL 사용하여 만든다.
|
||||
Reference in New Issue
Block a user