macroscope

( はてなダイアリーから移動しました)

データの「可聴化」「聞こえる化」を考えてみる(まだ机上論)

「データの可視化」は、いろいろな需要があるが、とりわけて言えば20世紀以来の自然科学をやっていくためには必須のことであり、そのための技術開発もいろいろされている。データにもいろいろあるが、ここではおもに数量であらわされるものを考える。ただし、性質の違う数量があり(たとえば、長さ、質量、時間、温度は、いずれも物理量であるが、「量の次元」という性質が違う)、それを区別して扱うことも必要になる。また、すべてではないが、多くの数量が、空間の中に分布し、時間に伴って変化するので、空間座標と時間座標の組ごとに違った値をもつ。そういう時空間分布をもつデータをどう可視化するかも課題である。

近ごろ「見える化」ということばが使われる。これと「可視化」と両方使う人はニュアンスの違いを意識するだろうが、個人差も考えると、意味の広がりはだいたい重なっていると思う。

「可視化」にせよ「見える化」にせよ、意味の広がりに二段階を認めることができる。広い意味では、人が知覚によって認識することができない(あるいは簡単でない)情報を、認識できる形に変換することをさしている。狭い意味では、その知覚を視覚(目で見ること)に限る。

そこで、データを視覚以外の知覚で伝えることも考えられるのだが、その技術はあまり発達していない。

聴覚(耳で聞くこと)によって伝えることは、広い意味の「可視化」「見える化」には含まれるのだが、狭い意味では区別して「可聴化」「聞こえる化」などの用語をたてる必要が生じるだろう。

音そのもの以外の自然科学的数量データを解析する手段として、耳で聞けるような形に変換することは、すでにされていると思うが、わたしはよい例を知らない。しかし思いつきを語ったものは思い出せる。寺田寅彦の随筆にあったのだ。 ネット上で検索してみると「青空文庫」に収録されているのが見つかった http://www.aozora.gr.jp/cards/000042/files/2487_10344.html 。1933年に雑誌にのり、のちに岩波文庫版「寺田寅彦随筆集」に収録された「試験管」という随筆のうち「6.音の世界」という節だった。海の潮汐の水位の時系列を(時間を短縮して)音波におきかえて聞いたらどうか、という話が主で、山脈や人の顔の(断面の)輪郭の曲線を波形にみたてるという考えも述べられていた。

わたしは実際に実行したわけではないが、いくらか本気で考えてみると、この方法が有効なのは、シグナルの(全部でなくてよいが)大きな部分が、周期が同程度の(一定値でなくてもよいが桁ちがいでない範囲に含まれる)振動であり、しかも次のどちらかの場合に限られることになりそうだ。

  • 1. 時系列の継続時間が振動の周期に比べてじゅうぶん(たとえば千倍以上)長い場合。振動の、振幅の変化(AM変調)、周期の変化(FM変調)、倍音構成などが周期よりも長いスケールの時間の中で変化していくことが認識できるだろう。また、振動的でないノイズが混ざることが認識できることもあるだろう。
  • 2. 時系列の終わりと始めをつないでくりかえす。数量の時間的変化を論じるのをあきらめ、データ期間全体を平均した特性を認識することに目標をしぼる。また、つないだところで周波数特性がゆがむことをがまんする。

回転または振動する部分のある機械を扱う技能者のうちには、機械の音を聞いて機械の動作状況を判断する人がいる。ここでいう「1」が有用だとすれば、それと同様な能力を使うことになるだろう。潮汐は、これが有効と思われる例だ。

氷期サイクルにも使えそうだと思うのだが(地球軌道要素、氷の量、水温、二酸化炭素濃度などの音色を聞きわけられるとおもしろいと思うが)、南極氷床のサンプルが、今後の努力で100万年前までさかのぼれるとしても、約10万年周期の約10回ぶんしかないので、ここで述べた「2」のほうをめざすしかないと思う。

ここまでは、数量の時系列を音波の(空気の圧力なり密度なりの)波形とみなすという考えかたの話だった。
それに対して、時間軸上にデータに対応する音を配置するという考えかたがある。この処理の出力となる音波について、受け取った人は、時間の次元をスケール分割して、時間規模の短いところを音の周波数、長いところを時間として扱う必要があるが、これは音楽を聞く経験をした人ならば身につけている技能に近いだろう。

時間軸上にならべる音の特性として、音の強さと、音の高さ(周波数)が使える。また、倍音や雑音を混ぜることによって音色(ねいろ)を区別することもできるかもしれない。

わたしが数年前にネット上で見たもののうちに、気温の時系列グラフを楽譜に見立てて、つまり気温を音の高さに置きかえて、聞けるようにした例があった。年平均気温が、この百年の間に上昇していることは、音がだんだん高くなっていくことで表現されるが、それだけではあまりおもしろい感じはしなかった。【[2015-06-01補足] このたぐいの作品例、とくに複数の時系列を同時に聞く新しい試みが、American Geophysical Unionの機関紙EosにのったJoAnna Wendelさんの記事(2015-05-21づけ) http://dx.doi.org/10.1029/2015EO029967 、および同じ学会のブログにのったLaura Guertinさんの記事(2015-05-27づけ) http://blogs.agu.org/geoedtrek/2015/05/27/climate-data-music/ で紹介されている。】年周期変化(季節変化)や日周期変化も含む気温の時系列を聞くとおもしろいかもしれない。

また、ステレオ音響技術を利用して、時空間分布をもつ情報を音であらわすことも考えられる。ふたつの耳を働かせることができる人は、両耳からの信号を組み合わせることによって、音が出ている位置を認識することができる。

そこで、たとえば、世界の地理的な場所と聞き手のまわりの室内空間内の場所とをあらかじめ関係づけておいて、世界で発生した事件の空間と時間に対応するように、空間座標をもつ時系列として、音を発生させることができるだろう。これは、連続分布する量で有効かどうかは疑問だが、離散的な事件群に使えると思う。事件の規模を音の強さで、種類を音の高さや音色で表現することもできるだろう。「最近百年間のうちどの時代にはどの大陸でどんな災害があったかをふりかえる」といったことに使えそうだと思う(やってみないと有効かどうかわからないが)。

ただし、実際に室内の空間位置を変えて音を出すことができれば、オーケストラをステージに配置して、どの楽器が鳴っているかを認識するような形になり、聞く側のあいまいさは少ないだろうが、音源をたくさん配置するてまがかかってしまう。

ふつう、立体音響といえば、両耳それぞれの位置から聞こえる音を合成して聞かせるものだろう。これで、空間認識を正しく伝えるには、個人ごとの左右の耳の聴力の違いや、前後距離と左右距離の比の認知特性などに対応して、チューニングしないといけないことになりそうだ。

ここまで聴覚だけを考えてきたが、もちろん、視覚との組み合わせも考えられる。

【[2015-06-01補足] 次の記事が、日経サイエンスにのった。いろいろな事例の紹介がある。少なくとも「太陽風」の観測による研究には有用だったようだ。これは、長い時系列データを音の波形として聞くことによって、弱いが周期性の明確なシグナルを発見できた、というものだ。

  • Ron Cowen, 2015: Sound bytes. Scientific American, March 2015.
  • [同、日本語版] R. コーエン 著, 日経サイエンス編集部 訳 (2015): 隠れたパターンを探し出す データ可聴化。日経サイエンス 2015年7月号 77-80. 】