ホーム » ソフトウェア » コンピューターによる歌唱補助

最近のコメント

    コンピューターによる歌唱補助

     

    1. 概要

    この研究はより多くの人が歌う事への興味関心を抱いてもらうことやそれに伴う不安解消を目的としたもの。この提案されたシステムはコンピューターにより、ピッチ修正や一人でもデュエットを体験することをできる。

     

    1. 序論

    公の場で歌う事への自身の無さや恥ずかしさを感じる人々の問題のほとんどは、正しい音を発することと関係している。このことは歌う事の経験の少なさが主な理由かもしれない。特に、いわゆる音痴と言われている正しい音を発する事の出来ない人々の場合、トレーニングを重ねることによって音痴を解消することができる可能性がある。大事な側面は歌に慣れる事であり、適切な音程で積極的に歌うことによってこれらの不安を解決することが可能となる。

    1. 背景

    歌唱向上のための製品はすでに幾つか存在している。例えば、カラオケは伴奏だけが再生され、ユーザーが一緒に歌う事ができるシステムである。レコーディングスタジオやライブパフォーマンスにはリアルタイムオートチューニングシステムがあるが、通常のピッチ補正や歌唱向上にはほとんど使用されない。また、ユーザーのオーディオを異なるピッチで2声にするための「ハーモナイザ」というデバイスもある。しかし、人口音声は常に元の音程と同じ間隔にあるため、ユーザーが望む間隔を選択することが出来ない。これらを踏まえ、自動チューニングの機能を利用し歌唱力を高め、動的な音程を持つハーモナイザーを提案する。

    1. 方法

    提案するシステムは誰にでも利用可能であり、オーディオリアルタイムソフトウェアアプリケーションに広く使用されるビジュアルプログラミング言語であるPure-data [2]に組み込む。このアプリケーションの配置を容易とするために、図1に示すように、GUIプログラムとDSP(Digital Signal Processing) を分離している。GUIは、iPad、iPhone、またはAndroidでTouchOSC [3]と呼ばれるアプリケーションを使用して、MIDIノートが仮想ピアノからDSPを実行するコンピュータに送信されるようにする。TouchOSCは、Android、iPhone、iPad用のモジュール式OSCおよびMIDIコントロールサーフェスで、Wi-Fi経由でのオープンサウンドコントロールとMIDIメッセージの送受信をサポートしている。 OSC(Open Sound Control)は、カリフォルニア大学の研究所であるCNMATによって開発された通信プロトコルである。

    図 1. TouchOSCを通してのピュアデータの仕組み

    また、図2に示すようにインターフェースを自身で構築することも可能である。このインターフェースは、TouchOSCを開発しているHexler社が提供するエディタアプリケーションによって構築できる。

    図 2. TouchOSCによるGUIの構築

    1. 実行
    • ピッチ調整

    ピッチ調整を実行する際、歌い手のピッチはPure-dataの[sigmund~]オブジェクトで実装されているように、ボーカルパートからその構成要素の正弦波を検出することによって追跡される。ピッチ調整は「PSOLA」アルゴリズム[3]を用いて行われ、これの実装は[shifter~] [4]と呼ばれるMax/MSPオブジェクトから移植した。WindowsとRaspberry Pi debianに移植。この実装では、ピッチ周期が最後の1000サンプルにわたって計算され、所望のピッチと現在のピッチとの比rが0.1 <r≦4.0である場合にのみ調整が行われる。この範囲を0.5≦r≦2.0に減少。

    ピッチの検出は音声の母音部分でのみ行われる[5]。

     

    • オペレーション

    オペレーションを理解するには、図2の番号を参照せよ。

    (1)ピッチの誤差[%]:望むピッチpと実際のピッチp̂との誤差eを表示。欲しい音の鍵盤を押すと正しいピッチ(欲しいピッチ)を得る。0に近いほど、ピッチがより正確となる。eは以下によって表わされる。

     

    (2)Mode:セルフデュエットモードとオートチューニングモードの2つのモードを選択できます。 (後に説明)

    (3)mic and hmy:実際の音声と加工した音声のボリュームを調整。

    (4)DSP on/off:DSPのオン/オフ設定(サウンドの処理の有無)

    (5)reverb roomsize, wet and dry:リバーブルームサイズは部屋の音量を表す。 値が小さい場合は、エコーが短くる。ウェットとドライは、オーディオミックスに表示される処理済みバージョンと未処理バージョンの量に対応。

    (6)Virtual piano:必要な音の鍵盤を押して、MIDIノートナンバーをPure-dataに送信。

    バーチャルピアノの真ん中はC4。 (C4:MIDIノート番号= 60)。 参考までに、女性の平均音域はA3-C5(MIDIノート:57-72)、男性の平均音域はD3-G#4(MIDIノート:50-68)。

     

     

    • セルフデュエットモード

    セルフデュエットモードを選択すると、セルフデュエットを楽しむことができる。手順は以下の通り。

    (1)ユーザーがメロディを歌う。

    (2)ユーザーは歌唱中にC4から仮想ピアノで目標区間を演奏。例えば、ユーザーはXHzを歌い、キーボードのD4を押す。プログラムは同時に2つの音を出力。:p0とp1。

    p0はユーザの未処理の音声、p1はp0を必要な音に処理した第2音。 p1は以下の通り。 計算は表1を参照。

     

    f1: p1の MIDI note - 60.

     

    表 1.  MIDI note numbers、 音階、和音、比.

    • オートチューニングモード

    オートチューニングモードが選択されると、ユーザーは仮想ピアノを介してメロディーを生成し、選択された音の周波数に応じて歌い手のピッチを調整する。

    (1)歌いながら仮想ピアノでメロディーを演奏する。

    (2)仮想ピアノ(MIDI信号)の入力に基づいて、プログラムはユーザーのピッチを変更。例えばユーザーが430HzでA4(440Hz)を歌う時、プログラムはユーザーの音程を+10Hz補う。

     

    • デモンストレーション

    図3を参考せよ。

    Original:

    Duet pitch:

    Figure 3. デモンストレーションのスコア

    (1) セルフデュエットを使用した時のデモンストレーション

    sample 1: ユーザーの未処理の歌声

    sample 2: セルフデュエットを使用した歌声

    (2)  セルフデュエットを使用した時のデモンストレーション

    sample 3: ユーザーの未処理の歌声(音痴)

    sample 4: オートチューニングで処理した歌声

    sample 5: sample 3とsample 4の比較

    “Sounds of Silence” (1965) by Simon & Garfunkel (Columbia Legacy)という歌を使用。

     

    • 今後

    ラズベリーパイ、μプロセッサをベースとしたデスクトップコンピュータが便利であることは理解している。 しかし、Raspberry Piを使用すると、CPUのパフォーマンスやメモリが不十分で、システム全体が非常に遅く動作してしまう。 そこで、私はこのようなボトルネックの原因を調査し、2つの異なるプログラム(GUI、DSP)として実装することを目指している。 将来的には、2つのプログラムがソースプラットフォームで共存する可能性がある。ただし、パフォーマンスの問題が解決されている必要がある。

     

    • 結論

    デモンストレーションで示されているように、開発された関数は異なるハーモニーを出力する。そして、このような特徴は同じソフトウェアでオートチューニングモードを使用することにより、歌唱力の向上につながる可能性がある。 デモの結果、提案されたシステムはピッチトレーニングを修正するのに役立つが、ピアレビューのプレッシャーなしに調和を楽しむためにも役立つ。最後に、このプログラムがあまり歌を得意としていない人々の役に立つことを望む。

     

    • 謝辞

    この研究は一部、カワイ財団のSound and Technology&Musicから研究資金を受けたものである。

     

    • 参考

    [1]福島英 (2005) 『ヴォイストレーニングがわかる Q&A100』 音楽之友.

    [2] Miller Puckette, (2007). The Theory and Techniques of Electronic Music. World Scientific Pub Co Inc, 323p.

    [3]美山千香士 (2013) 『Pure Data Aチュートリアル&リファレンス』 ワークスコーポレーション pp.311-319

    [4] M. Puckette, T. Apel, and D. Zicarelli, “Real-time audio analysis tools for pd and msp,” in Proc. Int. Computer Music Conf., 1998.

    [5] T. Jehan, “Tristan Jehan’s Home Page.”[Software]. Retrieved October 21, 2016. Available from web.media.mit.edu/~tristan, 2008.

    [6] Julián Villegas “音程感覚の習得とよりよい歌唱体験の補助” SOUND 32,2017,10-13