log dead field

背景と目的 ： 聾唖者等に対し、音の単なる包絡線形状や周波数特性ではなく、“音質”という複合的な感性情報を直観的に視覚提示するインタフェースを提案する。

内容 ： 3DCGのプリミティブ（球体など）の形状や表面の質感・あるいはその動き等に、入力した音の波形やスペクトルを直観に基づいて写像するアニメーションAPI。たとえば硬い音に対してはシャープな形状、ノイズのような音に対しては激しく振動する砂のような形状の3次元画像を提示する。場合によっては色情報も用いる。

結果： それっぽいのが出てた

2017年ごろの Zach Liebeman氏の AR Sound Visualization がまさにこれです。こういうのを思い描いてたと思います。

この投稿をInstagramで見る

zach lieberman(@zach.lieberman)がシェアした投稿

いわゆる音源定位ARみたいなのは産業応用含め結構事例があるんですが、



上述の事例はリアルタイムARで、しかも周波数情報も直観的なデザインとして反映されてるっぽいですよね。しかもSLAMで発音場所を大まかに記憶して空間に履歴として残してるというかなり高度なことをやっています。すごいよ！！ （参考記事）


元々は懐かしのWindows Media Playerの、音声のみファイルを再生するときの「視覚エフェクト」（音に合わせた幾何学模様アニメーションみたいなの）に着想を得て当時の記事を書いた気がしますw