micarrsim/docs/data-contracts.md

데이터 계약

micarrsim의 저장 형식은 JSON Schema Draft 2020-12와 추가 관계 검증으로 정의한다. 모든 길이는 m, 시간은 s, 주파수는 Hz다. 배열 중심이 원점이고 +x는 오른쪽, +y는 위쪽, +z는 배열에서 장면을 향하는 우수 좌표계를 사용한다.

파일 종류

• micarrsim.array: aperture와 마이크별 [x, y, z] 좌표
• micarrsim.scene: 음원·ambient recipe, 위치 ground truth와 로컬 asset manifest
• micarrsim.experiment: scan plane/grid, 주파수 대역, STFT와 위치 추정 설정
• micarrsim.result: raw/display acoustic map, 복수 peak와 source 매칭, 평가·성능 정보
• micarrsim.comparison-history: 세션의 배열별 Result 요약을 모은 편의 export. core schema 검증 대상은 아니며 각 원본 Result JSON을 대신하지 않는다.

scene JSON에는 192채널 원시 sample이나 원본 asset byte를 넣지 않는다. 합성 tone/noise는 seed가 포함된 recipe로 재생성하고, 녹음 파일과 이미지는 id, kind, fileName, mimeType, sha256 manifest로 참조한다. 사용자 컴퓨터의 절대 경로, URL, .. 경로는 저장하지 않는다.

array의 sensitivityDb와 phaseOffsetDeg는 각 마이크 수신 channel에 적용되는 편차다. 합성기는 이를 신호에 주입하고, 위치 추정기는 선택한 알고리즘의 규칙에 따라 알려진 calibration을 보정한다. 선택적 frequencyResponse는 2–64개의 { frequencyHz, gainDb, phaseDeg? } 측정점이다. 주파수는 0–1,000,000 Hz에서 중복 없이 증가해야 하며, dB와 wrapped phase를 구간 선형 보간하고 측정 범위 밖에서는 가까운 끝점을 사용한다.

Array Builder의 사각형/타원 생성 경계, 프리셋 종류, 행·열, random seed·최소 간격·경계 여백, snap과 zoom은 편집기 상태이며 micarrsim.array 계약에 포함되지 않는다. 저장 파일에는 aperture.width/height와 최종 microphones 좌표·순서만 들어간다. 따라서 다른 도구는 형상 이름을 추론하지 않고 실제 좌표를 배열 geometry의 기준으로 사용해야 한다.

Experiment의 필수 beamforming.algorithm enum은 das, das-phat, gcc-phat다. backend와 raw map 계약은 다음과 같다.

algorithm	rawMap.scale	허용 backend
das	power	cpu, webgpu; auto 가능
das-phat	score	cpu, webgpu; auto 가능
gcc-phat	score	cpu; auto는 CPU 선택

gcc-phat에 명시적 webgpu를 조합하면 검증 오류이며, 마이크가 두 개 이상이어야 한다. 필드 그룹 이름 beamforming은 기존 계약과의 호환을 위해 유지하지만 세 알고리즘을 모두 선택하는 위치 추정 설정이다.

선택적 beamforming.compensateFrequencyResponse는 기본 true다. 합성 channel에는 curve가 항상 적용된다. DAS는 sensitivity와 정적 phase를 항상 역보정하고, 값이 true이면 선택 bin에서 curve의 gain과 phase도 역보정한다. DAS-PHAT와 GCC-PHAT는 입력과 calibration의 amplitude gain을 사용하지 않지만 정적 phase를 보정하며, 값이 true이면 알려진 curve phase도 보정한다. false는 모든 알고리즘에서 curve 보정만 끄고 정적 phase 보정은 유지한다.

선택적 beamforming.maxCompensationDb는 DAS가 응답 notch를 역보정할 때 양의 gain boost만 제한하는 0–120 dB 값이며 생략 시 24 dB다. 응답 peak를 줄이는 attenuation과 phase 보상은 이 boost 상한의 대상이 아니다. amplitude를 사용하지 않는 DAS-PHAT와 GCC-PHAT에는 이 값이 영향을 주지 않는다. 세 알고리즘의 계산식과 한계는 음향 환경과 마이크 응답 모델에 설명한다.

로컬 asset 재연결

브라우저 보안상 Scene JSON을 새 페이지에서 열었을 때 이전 로컬 파일 권한은 복원되지 않는다. Camera는 사용자가 다시 선택한 파일을 SHA-256으로 계산해 같은 descriptor에만 연결한다. 이름이 같아도 byte가 다르면 거절하고, 원본은 브라우저 메모리에서만 decode하며 서버에 업로드하지 않는다.

• 파일 하나: 최대 128 MiB
• 한 Scene에 연결된 원본 파일 합계: 최대 512 MiB
• 동시에 유지하는 decode 오디오 channel 합계: 최대 192 MiB

Builder가 내보낸 Scene JSON과 사용한 원본 이미지·오디오는 함께 보관해야 한다. Preview WAV는 scene recipe를 mono로 합친 청취 확인용 파일이며 마이크 배열의 192채널 수신 신호가 아니다.

이동 음원 trajectory

Scene source의 선택적 trajectory는 2–4,096개의 { time, position } keyframe 배열이다. time은 Scene 시작 기준 절대 초이며 0 이상 scene.duration 이하에서 엄격히 증가해야 한다. position은 정적 source와 같은 [x, y, z] m 좌표다. keyframe 사이 위치는 선형 보간하며, 첫 keyframe은 호환용 source.position과 같은 시작 위치로 Builder가 유지한다.

Camera 라이브 미리보기는 sample 경계에 맞춘 시간창 중앙에서 trajectory 위치를 평가한다. 짧은 창으로 Scene 시간을 다시 기준화해도 tone 위상, noise sample index와 audio asset 재생 위치는 원래 절대 시간에 이어진다. 이는 준정적 근사이며 Doppler를 계약하지 않는다.

음향 환경

Scene의 선택적 acoustics.model은 free-field 또는 shoebox다. 필드를 생략한 문서는 free-field로 해석해 이전 직접음 결과를 유지한다. free-field에는 사용되지 않는 room, reflections, diffuseReverb 또는 occluders를 함께 둘 수 없다.

shoebox에는 room.min과 room.max가 필요하다. 각 축에서 min은 max보다 작아야 하며 정적 source와 모든 trajectory keyframe은 room 안에 있어야 한다. reflections.order는 0 또는 1이고, wallGainDb와 선택적 면별 perWallDb는 -60–0 dB, scattering은 0–1이다.

diffuseReverb는 enabled, 0.05–5 s의 rt60Seconds, -60–0 dB의 gainDb와 1–32의 tapCount를 갖는다. 축 정렬 occluders는 최대 8개이며 room 안의 min/max, 고유 id, -120–0 dB의 transmissionDb와 diffractionGainDb를 갖는다.

이 계약은 직접음, 여섯 면의 1차 image-source, 결정적 scattering, 막힌 occluder별 최단 corner 우회와 제한된 RT60 tail을 위한 것이다. 재질 mesh나 고차 room impulse response 계약은 아니다. 세부 계산과 preset은 음향 환경과 마이크 응답 모델에 설명한다.

오디오와 map 정규화

scene.mix.normalization은 마이크 신호 합성 전에 적용할 오디오 mix 정책이다. none은 원래 gain을 보존하고, peak는 합성 전 peak를 targetPeak에 맞춘다. result의 signalStats에는 정규화 전 peak, 실제 scale, scale 적용 후에도 범위를 넘은 sample 수를 기록한다.

이는 acoustic map 표시 정규화와 별개다. result의 rawMap.scale은 알고리즘의 원래 비음수 map을 뜻하는 power 또는 score다. DAS의 power는 절대 SPL로 calibration한 값이 아니며, DAS-PHAT와 GCC-PHAT의 score도 확률, likelihood 또는 confidence가 아니다. 합이 1이 되도록 정규화되지 않으며 서로 다른 scale이나 알고리즘의 절대값을 직접 비교해서는 안 된다. GCC-PHAT raw score는 pair 수·band의 Hermitian coefficient 수·IFFT 크기로 나눈 0–1 양의 상관 응답이므로 scan 범위를 바꿔도 같은 위치 가설의 척도가 유지된다. 그래도 확률 calibration은 아니며 DAS-PHAT score와 절대값을 비교하는 용도가 아니다.

displayMap은 원래 scale, peak-normalized normalized 또는 db일 수 있다. peak 정규화는 최댓값을 1로 만드는 표시 변환일 뿐 확률 정규화가 아니다. processedMaps는 damas, clean-sc 또는 custom 후처리 결과를 별도로 교환하기 위한 예약 슬롯이다. 현재 위치 추정 코어는 DAMAS나 CLEAN-SC를 실행하거나 이 필드를 자동 생성하지 않으며, raw map을 후처리 map으로 덮어쓰지 않는다.

map은 row-major 배열이다. 첫 행은 yMax, 마지막 행은 yMin, 각 행은 xMin에서 xMax 방향이다. values.length는 반드시 rows × columns와 같아야 한다.

Experiment의 선택적 evaluation.detectionThresholdRatio는 최강 local peak의 같은-scale raw 값에 대한 검출 임계 비율이며 0 < ratio <= 1이다. 생략된 이전 문서를 Camera에서 열면 기본값 0.25를 적용하며, Experiment JSON을 다시 저장하면 이 값이 명시된다. 값을 낮추면 약한 peak 후보를 포함하지만 sidelobe false positive도 늘 수 있다.

Result 평가 정보

Result 1.1은 최상위 필수 algorithm에 실제 실행한 das, das-phat 또는 gcc-phat를 기록하며 Experiment의 선택값과 같아야 한다. backend는 요청값 auto가 아니라 실제 사용한 cpu 또는 webgpu다.

관계 검증은 das → power, das-phat/gcc-phat → score를 강제한다. Peak에 beamSpread가 있으면 power map은 power-weighted method, score map은 score-weighted method여야 한다. 따라서 구조상 유효하지만 의미가 모순된 외부 Result도 import 시 거절된다.

timingMs.localization은 선택한 위치 추정 알고리즘의 wall time이다. 현재 export는 기존 DAS 전용 소비자를 위해 같은 값을 timingMs.beamforming에도 호환 alias로 기록한다. 1.1.0 schema는 beamforming을 여전히 필수로 두므로, 새 writer는 localization과 beamforming을 함께 저장해야 한다. timingMs.total은 전체 시간이고 선택적 signalGeneration은 합성 시간이다.

각 band의 peaks는 위치와 해당 rawMap.scale의 값, 선택적 sourceId, localizationErrorM, localizationErrorPixels, beamSpread를 저장한다. beamSpread는 선택 peak를 포함하는 8-connected 성분의 가중 centroid·공분산과 major/minor RMS 반경·각도다.

• power map은 connected-half-power-power-weighted-covariance를 사용해 peak의 halfPowerRatio 이상인 연결 성분을 power로 가중한다.
• score map은 connected-half-maximum-score-weighted-covariance를 사용해 peak의 같은 비율 이상인 연결 성분을 score로 가중한다. 호환 필드명 halfPowerRatio는 이 경우 실제로 half-maximum score 비율을 뜻한다.

두 방식 모두 calibrated는 현재 항상 false다. covariance ellipse는 map의 공간적 퍼짐을 결정적으로 요약할 뿐 확률분포, Gaussian 신뢰구간 또는 통계적 위치 불확실성이 아니다. metrics에는 다음 유한값만 기록한다.

• peakToSidelobeDb
• energyInsideTruthRatio
• precision, recall
• mainLobeWidthM

호환 필드명 energyInsideTruthRatio는 power map에서는 truth 주변 power 비율, score map에서는 truth 주변 score 비율이다. 후자의 값은 물리적 energy 비율이나 위치 확률이 아니다.

evaluation은 지표를 다시 해석할 수 있도록 truth 반경, source 매칭 tolerance, peak 검출 threshold와 최소 거리, sidelobe 제외 반경, half-power 비율, dynamic range, 최대 검출 수를 버전과 함께 저장한다. environment에는 실제 backend, microphone/grid 수, scan bounds와 z, 가능한 경우 GPU adapter 및 fallback 정보를 기록한다.

signalStats는 정규화 전 peak, scale과 clipping 수 외에 필수 sampling provenance와 선택적 acousticModel, 실제 전체 acousticPathCount와 acousticPathCounts를 기록한다. 종류별 key는 direct, reflection, scattering, diffraction과 diffuse다.

각 band의 필수 frequencyObservation은 연속 analog fold와 이산 FFT 계산 선택을 구분한다. foldSegments는 1-based Nyquist zone·반전·alias order를, adcBins/adcBinCenterRanges는 selectionModel: fft-bin-center-membership으로 선택된 bin center를 뜻한다. 요청 minHz와 maxHz에 정확히 놓인 FFT bin center도 선택한다. 정확한 Nyquist 경계의 +Fs/2와 -Fs/2는 같은 실수 sample이며, point provenance는 +Fs/2로 canonicalize하고 fold segment endpoint는 zone 진행 방향에 따라 둘 중 하나를 기록한다. localizationInputModel은 one-sided real FFT bin만 사용함을 밝히며, localizationModel은 DAS 계열의 구면 steering과 GCC-PHAT의 기하 lag를 구분한다. originalCarrierUsed는 항상 false다. Nyquist 위 band의 aliasOrderResolution은 현재 not-attempted다. equivalentBandIds가 있으면 그 band들은 같은 ADC bin 집합을 공유하므로 독립 관측으로 세면 안 된다.

대역별 ground truth의 실제 정책은 evaluation의 truthSelection: tone-analog-interval-or-nearest-adc-bin-and-all-nontone-sources에 기록한다. Tone은 원 주파수가 요청 analog interval 안에 있거나, 접힌 주파수의 nearest ADC bin이 선택됐을 때 포함한다. noise와 asset source는 모든 band에 포함한다. 녹음 asset의 spectrum을 임의 threshold로 분류하는 미검증 multiband 알고리즘은 사용하지 않는다.

재현성 hash

result.inputHash는 실행에 사용한 { array, scene, experiment }를 객체 key 사전순으로 재귀 정렬하고 공백 없이 JSON 직렬화한 UTF-8 byte의 SHA-256 소문자 hex다. 사용한 asset은 실행 전에 SHA-256을 계산해 scene의 해당 asset sha256 필드를 채운 상태로 canonical input을 만든다. 따라서 파일 이름이 같아도 내용이 바뀌면 hash가 달라진다.

버전과 검증

Array·Scene·Experiment 계약 버전은 1.0.0, Result 계약 버전은 1.1.0이다. Result 1.1.0은 sampling provenance와 band별 fold/localization metadata를 필수화하므로 이전 1.0.0 Result와 구조적으로 호환되지 않는다. 브라우저는 packages/contracts/schema-validator.js로 저장소의 실제 schema를 실행한 뒤 validation.js에서 다음 관계를 추가 검사한다.

Acoustic Camera에서 Experiment를 가져올 때는 문서 자체를 먼저 검증한 뒤 sceneId와 arrayId를 현재 열린 Scene·Array의 id로 연결하고, 그 context에서 관계 검증을 다시 수행한다. 이 가져오기 편의 동작은 계약을 완화하지 않는다. 내보내기와 실행에 쓰는 Experiment도 아래 관계를 모두 만족해야 한다.

• 중복 id와 array/scene/experiment/result 참조
• asset 종류와 안전한 상대 경로
• ideal sampler의 Nyquist alias mapping 및 시간·scan 범위
• 마이크 주파수 응답점의 범위·정렬과 shoebox room/occluder 포함 관계
• map shape와 source peak 매칭
• band별 evaluation 파라미터와 허용 metric
• crop 크기 microphone channel과 한 sampled source의 자체 최대 sparse-delay samples·spectrum·workspace를 합친 typed working set의 512 MiB 예산. validator와 runtime은 reflection·scattering·diffraction·diffuse를 포함한 동일 estimator를 사용한다.

지원하지 않는 schemaVersion은 묵시적으로 변환하지 않고 오류로 알린다.

Scene tone과 Experiment band는 0–1 MHz 검증 범위 안에서 Nyquist를 넘어도 유효하다. 1 MHz는 Nyquist 제한이 아니라 수치 위상 정밀도·마이크 응답·희소 음향 모델의 현재 검증 상한이다. 이는 원 신호를 복원한다는 뜻이 아니라 anti-alias filter가 없는 이상적 real ADC에서 접힌 bin을 관찰한다는 뜻이다. Result는 signalStats.sampling과 band별 frequencyObservation에 원 주파수, signed ADC 주파수, spectral inversion, fold segment와 선택 bin center를 기록한다. 동일 ADC bin에 접힌 analog 후보는 단일 channel의 시간 sample만으로 식별할 수 없다. 다채널 공간 위상에는 원 파장 정보가 남을 수 있지만 현재 conventional localizer는 carrier hypothesis를 시도하지 않으며, validation이나 평가도 임의의 후보를 정답으로 선택하지 않는다.

실측 channel을 받는 portable API는 저장 JSON 계약과 별도로 입력 Array를 같은 규칙으로 검사한다. CPU 분석 계획은 기본 512 MiB, 반복 steering cache는 64 MiB, streaming ring과 분석창은 기본 256 MiB hard cap을 할당 전에 적용한다. 채널 순서와 streaming 상태 계약은 실측 다채널 위치추정 코어 포팅을 참고한다.

portable block 결과의 processingTimeMs는 선택한 위치 추정 알고리즘과 local-peak 검출 wall time이다. Streaming 결과는 deadlineMs와 deadlineMet을 추가하고 상태에는 최근·최대 처리 시간, deadlineMisses와 droppedSamples를 누적한다. 이 runtime telemetry는 micarrsim.result 저장 스키마의 필수 필드가 아니다.