Python×信号処理入門！音で絵を描くスペクトログラムアートのつくりかた

スペクトログラムは、音を時間・周波数・強さの関係として可視化する手法です。本発表では、音をスペクトログラムとして表示したときに絵や文字が現れる「スペクトログラムアート」を題材に、Pythonで信号処理と画像処理の基礎を楽しく学ぶ方法を紹介します。

まず、電子音楽やメディアアートの分野で知られるスペクトログラムアートの例を紹介し、なぜ音の中に絵を描くのか、アートとしてどのような面白さや効果があるのかを確認します。そのうえで、画像を濃淡データとして扱い、画素の位置や明るさを時間・周波数・振幅に対応づけることで、どのように音として合成できるのかを解説します。作成した音を再びスペクトログラム表示すると画像が現れる、という流れをPythonコードとデモを交えて説明します。

この過程では、Pythonの数値計算、可視化、画像読み込み、音声入出力に関するライブラリを必要に応じて組み合わせます。画像を2次元配列として扱う考え方、音声波形を時系列データとして扱う考え方、FFTやSTFTによる周波数解析の考え方を扱い、画像処理と音声処理の共通点にも触れます。また、時間分解能と周波数分解能のトレードオフ、音量調整、クリッピング、画像がぼやける原因など、実際に作ってみると出会う失敗例も取り上げます。

発表者はメーカーで製品の音に関する業務に携わり、信号処理や画像処理を使ったPython入門書の執筆経験もあります。本発表では、その経験を活かし、難しく見えがちな信号処理・画像処理を、遊び心のある題材から直感的に理解できる内容を目指します。Pythonには便利なライブラリが豊富にあり、それらを組み合わせることで、音と画像を横断する処理も比較的短いコードで試すことができます。スペクトログラムアートを通して、Pythonでデータを「見る」「作る」「変換する」面白さを体験してみましょう。