log dead field

[PR]

2024/04/25 (Thu.)

36. ゲームのためのシンプルな仮想音響生成スキーム

背景と目的 ： 3DCGのように、仮想の3D空間内の物体や位置・姿勢や光線の写像をシミュレートして仮想映像を生成するシステムはポピュラーだが、同じように物理シミュレーションから音を作り出すことは一般的でない（あるにはあるし[1]結構API化されてたりもするが、少なくとも3DCGのごとくゲームなどには使われたりということは無いよね）。なぜなら、音の発生を模擬するためには、極限的には分子レベルでの物体の動きを再現しなければならないから（それもkHzオーダで）。まぁ実際にはもう少しマクロに微分方程式で記述するのだが。
  しかし、もっといろいろ大ざっぱに発音システムを近似すれば、もう少し簡単に音をリアルタイム生成できるのではないか？という発想に基づき、3DCGエンティティの衝突から音を生成するという試みを考えてみる。上手くいけば格闘ゲームなどで、リアルかつ非ワンパターンな打撃効果音などが提供できる、という名目。

内容 ： 音は基本的に物体（の全体あるいは部分）の固有振動の重ね合わせが空気に乗って耳に届くわけだが、無数の固有振動を模擬することはできない。そこで人間の可聴域20～20,000Hzを、思い切って8bitで256チャネルぐらいにざっくり分割する。ほんで各チャネルの中心周波数にだけパワーを入れ、他はオフ。これら256本の純音（正弦波）の総和が最終的な出力音になる。
  各々のチャネルには3DCGエンティティから発される固有振動を割り当てることになるが、分子レベルでシミュレートするのは大変なので、エンティティに固有振動周波数を定義する「材質」プロパティを与えておき、これプラス衝突の種類や速度、角度などを用いて発生する音を決める。材質プロパティは64種類ぐらいでいいだろう。

考察 ： 書いていて、何がしたいのか自分でもよく分からなくなった。しかも、そこまでしてリアルタイム生成された音に意味があるのか。


[1] “ピアノ音の物理シミュレーション : 弦・駒・響板の連成解析をめざして” ，
      橋本・梅谷，情報処理学会研究報告.[音楽情報科学] pp.1-6，1999年2月

2009/09/12 (Sat.) Trackback() Comment(0) 日々のアイディア

35. 音声認識とwebを用いたマインドマップ生成に基づく会話支援システム

背景と目的 ： 会話による議論や意見交換は、話の流れが目に見えないためナビゲートしにくく、方向性を見失ったり、相手の意思を上手く汲み取れなかったりする。そこで、そういうのを支援するあれを提案。言わば会話ビジュアライザ的な。

内容 ： まず、音声認識システムを用いて会話内の単語を収集し、二次元平面上に列記してマインドマップのようなものを生成する。単語には出現頻度に応じて重みがつけられ、重いものほど強調表示されるという感じ。この機能によって会話のメタ認知を支援する。
  また、それらの単語あるいは単語群をキーワードとしたweb検索を行い、関連する項目やブログ記事などを取得し、参考情報として提示することで、議論の狭窄を防ぎ視野を広げる。
  さらに、単純な文脈を（大ざっぱにでもよいので）推定できるとすれば、たとえば「相手はこういうことが言いたいのでは」というような意思の推定―すなわち“行間を読む”などといったこともできなくはないかもしれない。これができれば、話の下手な人や遠まわしに物事を言う人との意思伝達に、大きく役立つであろう。

考察 ： チャットのログをもとにマインドマップを生成するようなシステムはもうありそうだ。役に立つかは知らんが。

2009/08/31 (Mon.) Trackback() Comment(0) 日々のアイディア

34. マイクロボットによるリコンフィギュラブルディスプレイ

背景と目的 ： ディスプレイ（映像表示装置）は長方形でソリッドなものであると相場が決まっているが、それが自律的に動いて形状を変えたり曲面上に貼り付いて映像を表示してくれたら面白い。何の役に立つかは分からないが……

内容 ： 発光素子と平面移動機能を備えたマイクロボット（超小型ロボット）を無線通信で連携させ、全体で1枚のディスプレイとして機能させる。

考察 ： ロボットのダイナミクスや通信、局所的な情報共有など、研究のネタとしてはちょうどいいかもしれないが……実用性は……。ゲームとかに使えんか？


今から行きます！蠅さん！！

2009/08/24 (Mon.) Trackback() Comment(0) 日々のアイディア

33. 視線履歴を蓄積・表示するARシステム

背景と目的 ： 人間が行動する環境中においては、無数の人々が行き来し、必要に応じて色々なものを目視する。それで特に街中などで人々が何に注目しているかが分かれば、広告設置の効果向上などに利用できそうな気がする。また、それを可視化するだけでも面白い。なんてゆうかインタラｋ（ｒｙ
  そこで、人がモノに投げかけた視線をがんばって推定し、記憶・表示するシステムを提案する。たくさん見られるものはたくさんの「被視点」が投影されて真っ黒になる、みたいなイメージ。

内容 ： 高精細監視カメラで行き交う人々を撮影し、各人の頭部と眼球の姿勢から焦点と視線方向を推定、何を見ているか（すなわち「被視点」の空間座標）を割り出す。そのデータをコンピュータ上で撮影画像に射影すれば、注目されている箇所が可視化できる。
  また、画像と実環境との座標対応を取り、「被視点」をプロジェクタなどを用いて実際に対象物体へ投影することで、行き来する人々自体に「みんなが注目している箇所」を提示できるようになる。

考察 ： がんばれば実現できそうだ。注目点投影を行うと、正のフィードバックが生じると予想される。すなわち、注目されている場所にはより注目が集まるんじゃないかな。

2009/08/22 (Sat.) Trackback() Comment(2) 日々のアイディア

32. 炎ディスプレイ

背景と目的 ： LEDによる疑似炎型照明などがある。じゃあ逆に、実際の炎をディスプレイにしてもいいじゃないかという魂胆。

内容 ： 炎の混合気比や周囲の気流などを調節して、炎の色や形状を制御する。マトリクス状にすればいろいろ表現幅が広がりそうではないか。

考察 ： 何に使（ｒｙ　インタラクティブアー（ｒｙ

2009/08/18 (Tue.) Trackback() Comment(0) 日々のアイディア

31. 水琴

もう妥協してしまうのか 
まぁ君がいいと思うならそれでいいんだがね
―斜めの男

なんてことを言われちゃ黙っちゃいられねェ。


アイディア名 ： 水琴（すいきん）

背景と目的 ： グラス・ハープなど、水の量で音程を調節する楽器は存在するが、水そのものを発音体に使った楽器は無いと思う。そこで提案いたしますのが、水琴。

内容 ： 水タンクと鍵盤、それに直結したバルブと、発音部から成る。鍵盤を押すと、対応するバルブが開き、水滴が落ちる。それが直下の発音体（木琴や鉄筋のようなモノ）に当たり、固有の音を発する。ようするに水を“バチ”として使う。

考察 ： 水滴を連続してぽたぽたと落とせば、トレモロのような疑似持続音を出せる。ただ水滴が発音体に当たるまでのタイムラグが結構ありそうなので、高速演奏には向かないかもしれない。てか水ネタ連続しちゃった。

2009/08/17 (Mon.) Trackback() Comment(0) 日々のアイディア

30. 水インタフェース

ついに迎えた30回目！！


背景と目的 ： 水を使った入力装置を作れないかなぁ。というところからスタート。直観性・操作性に優れたインタフェースの提供が目的。



内容 ： 2つ思いついた。
1. 洗面器型
  図1のように、洗面器状の容器に水を張り、側壁・底面にたくさんの「流れセンサ」を設置。流れセンサは、流速受容体（ただのボール）とリンク、2軸角度センサからなるモジュール。水流に沿って動くジョイスティックのようなものだと思ってもらえればよい。水をかき混ぜるとn個の流れセンサからそれぞれ2次元の流れベクトル値が出てきて、膨大な入力ベクトル空間が形成される。

図1(a). 洗面器型水インタフェース

図1(b). こんな感じなのだが

図1(c). お分かりいただけるだろうか

2. 水道型
  図2のように、水道の蛇口真下に圧電素子マトリクスセンサを設置。流れ出てくる水を手で触ると、乱れた水流がセンサにマッピングされる。
 

図2. 水道型水インタフェース

考察 ： 何に使うのかなぁ……→インタラクティブアート（笑）

2009/08/13 (Thu.) Trackback() Comment(1) 日々のアイディア

29. 和音と色の対応付け

背景と目的 ： 色覚障害者（*1）に対し、色情報を音で提示するシステムが提案されている[1]。では逆に、聴覚障害者に対し、音の特徴量を画像で表現するのはどうか。というわけで本コーナー第3回で“3DCGを用いた音質可視化インタフェース”というのを提案したが、今回は和音を色で表現してみようという試み。共感覚インタフェースとでも呼ぼうか。

内容 ： メジャー、マイナー、セブンスなどに色相を割り当て、キーは輝度に対応付ける。どうかしら？ しかしキーはオクターブ内で巡回するから、逆に長短を輝度、キーを色相にしたほうがいいかもね。

考察 ： 使い道あるのかな……ただ、センサシステムを用いた感覚障害者支援というテーマは興味深い。



*1……最近では色覚障害、色覚異常に代わって、特殊色覚という言い方をすることもある。

[1] 出典不明。しかし、昔テレビで確かに見たんだ。ある一人の男のために実験的に作られたオーダーメイドシステム。彼は完全色盲だが絶対音感があり、ゴーグル（CCDカメラ）でキャプチャした視点の色が、音に変換されて出力される。

2009/08/12 (Wed.) Trackback() Comment(0) 日々のアイディア

28. 指揮法教示ロボット

背景と目的 ： アマチュアの楽団においては、 指揮者の指揮法（バトンテクニック）習得の効率が課題となる[1]。指揮者は指揮法を主に個人で練習するしかなく、効率の良い練習は難しい。
  そこで、指揮法における指揮棒（あるいは腕）の機械的運動に着目し、最適な指揮運動を体得させるための指揮法教示ロボットシステムを提案する。

内容 ： 指揮法の基本は、打法（たたき）であり、自然な拍を表現するためには、等加速度運動と弾性衝突を腕先で忠実に再現する必要がある[2]。また、ゆっくりとしたテンポを表現する際の「しゃくい」は、明確な打点を作らず尚且つ加速度を感じさせる動きをしなければならない。
  そうした動きを、人の腕に沿った形の2関節2自由度マニピュレータにプログラムし、ユーザの腕にベルトなどで接続して実際に動かすことで、複雑な加速度運動を体感させる。

考察 ： 技術的には実現可能。特に難しいワルツ打法の習得に効果を発揮しそうだ。


[1] “指揮法練習のためのバトンテクニックの定量的評価手法”，今田，
     奈良先端科学技術大学院大学情報科学研究科 修士論文，2006
[2] “指揮法教程”，斉藤，音楽之友社，1953

2009/08/11 (Tue.) Trackback() Comment(0) 日々のアイディア

27. 画像ベースでパスタの茹で具合を推定するシステム

背景と目的 ： パスタの麺を茹でる際、茹で具合を確認するには①茹で時間と火力から推定するか、②サンプリング・試食により直接確認する、という方法があるが、最適な茹で具合（アルデンテ）を得るのは結構難しい。①は大きな誤差が発生する場合が多いし、②はサンプリングに手間がかかる。
  そこで、カメラを用いた画像ベースの茹で具合推定システムを提案する。

内容 ： 麺は茹でるにつれて、直径や色合い、表面の質感などが変化していくはずである。それを超高精細カメラで撮像し、画像処理をもって特徴量を抽出する。それをあらかじめ取得しておいた茹で具合対特徴量テーブルとリアルタイムで比較し、アルデンテを検出する。

考察 ： ファミレスなど、高品質パスタを大量に生産する現場で使えそうである。調理に画像処理を持ち込むという発想も新しくない？ そうでもないか？

2009/08/10 (Mon.) Trackback() Comment(0) 日々のアイディア