■ 自動作曲システム Orpheus 開発の歴史 (2006.10.01 - )

2006年10月に東京大学 大学院情報理工学系研究科 システム情報学専攻 第一研究室で自動作曲アルゴリズムの研究開発を開始して以来、自動作曲システム Orpheus 開発はすでに17年近く経過しています(2023年秋に)。この間に、web 公開、研究発表会での発表と学会受賞（２件）、数十回のＴＶ報道、ラジオ、多数の新聞や雑誌の報道解説がありました。2011年12月29日に公開した Ver 3 は、今も開発が続けられています。当初からの累積作曲数（同じ歌詞も含めて）は70万曲を超え、2015年5月6日から取り始めた統計では、アクセスが1900万回を超えました。
(2023/05/10 追記：2015/05/06 からの統計では、作曲数 730421 曲、再生回数 19729797 回)(2021/09/09 追記：2015/05/06 からの統計では、作曲数 613323 曲、アクセス回数 5748769 回)

●自動作曲： 国立大学法人 電気通信大学 情報理工学研究科 嵯峨山客員研究員グループ
　　2019.3 まで 明治大学 総合数理学部 先端メディアサイエンス学科 旧・嵯峨山研究室
　　2013.3 まで 東京大学 大学院情報理工学系研究科 システム情報学専攻 旧・第一研究室 [嵯峨山/守谷/小野/亀岡/酒向/齋藤] (工学部 計数工学科)
●自動作詞： 亜細亜大学（堀 玄 教授）
●現Orpheus開発チーム（ボランティアグループ）：嵯峨山 茂樹、高橋 拓椰、堀 玄、酒向 慎司、一色 萌生、保利 武志、Christoph Wilk、深山 覚

• 歌詞入力画面を刷新し、テンプレート選択をしやすくしました。
• 未登録ユーザでも「お試し」作曲ができるようにしました。
• シンプルオルフェウス画面へ変える機能を追加しました。（最小限機能の整理はこれから）
• その他、多数デバッグ、改良中。

• 機能メニューを簡素化しました。
• 初期テンプレートの指定方法を改良しました。
• 作曲条件設定ページを整理しました。（少し分かりやすくなったはず）
• その他、改良中。

• メニューのデザインや背景色を変えました。
• 画像アイコンを用いました。
• その他、多数改良。

• 一つ前の音節に割り当てられた音高を維持する機能を実装しました。（韻律設定の歌詞部分に= 記号を追加することで実現可能）
• 小節短縮機能を間奏だけでなく、歌詞ありの節にも追加しました。奇数小節では、偶数小節用に作られたリズム木を用いて、合計の音価が、1小節となるリズムを自動選択するように改良しました。
• 伴奏を合成するためのソフトウェアシンセのTimidityを廃止しました。ライセンスが、BSDライセンスで、本来であれば、Timidityを使った場合には、Orpheusのコードも公開しなければならないコピーレフトドあったためです。現在は、FluidSynthを利用しています。
• サウンドフォントの選択機能
• サンプリングレートの選択機能
• メリスマ抑制：一つの音節が長い音価を持っているときに、小節の区切りなどで、音高が変わり、スラー表示になってしまう問題を解決しました。確率モデル上で、メリスマが起こる確率を低く、同音高への遷移確率を高くすることで、ソフトに実現しています。
• 楽譜表示のデバッグ：生成されるたびにサイズが変わってしまっていた楽譜表示を修正しました。
• テンポ調整、音量調性をスライドバーにしました。
• スタイル選択（初期設定手プレート選択）機能を整理し、クイック再生して曲を選択でき一方、任意の公開曲をid指定してテンプレート使用できるようにしました。
• スマホに対応したユーザインタフェースを改造しました。
• 多数のデバッグ

• ページデザインを変更

• データのディレクトリ配置を大幅に変更し、約50万個のファイルを移動しました。（ユーザごとのディレクトリ構造に変更。）
• これに付随して、かなりの個数の関連処理スクリプトを書き換えました。
• いくつかのページで逐次表示を行うことで、表示待ち時間を短縮しました。
• 節ごとに切り出して短い作曲を行う「試作」機能を追加しました。
• 気に入った曲をブックマークする機能を拡充し、追加削除、論評記入、推薦公開、順序変更、作曲初期条件としてメニューから利用する機能などを実現しました。（それまでのプックマーク、推薦機能を置き換えました。）

• スマートフォンでの使用時のページデザインを改善しました。
  (文字サイズ、簡単化したメニュー、視聴ページの改善など。)

• 詳細設定ページで作曲スタイル設定を節ごとあるいは全体一括で行えるようにしました。
  (その結果、歌詞の読みや韻律を修正した後にもスタイル変更ができるようになった)
• 詳細設定ページからいくつかの設定項目のサンプル音が聴けるようにしました。
• 詳細設定ページで、自分が「模範とする」(bookmark)とした作品から条件設定を取り込めるようにしました。気に入った作品の作風をすぐにまねることができます。
• 詳細設定ページで、特定項目（速度指定など）だけを全節一括して特定の節（第１節など）に合わせる機能を追加しました。(2020.1.4)
• 上記のボタンに機能別に色をつけ、作曲は薄赤、節の削除は灰色、追加は薄青、模範のインポートには薄黄、条件統一は薄緑としました。

• 作曲条件メニューの和声進行、リズム型、伴奏音型の選択肢を、使用頻度順に並べ替え
• 作曲条件メニューの和声進行、伴奏楽器、伴奏音型を、サンプル試聴可能に
• 選択肢にコメント記入の機能
• 各ユーザの設定ページの付加
• 各ユーザのメモ記入の機能

メニューやページ表示などのユーザ画面を改訂しました。[嵯峨山]

• 今までの横長メニューから縦長メニューに変更
• スマートフォンを意識した表示とするための寸法の調整
• 細かい修正など

旧サーバが8月下旬にネット攻撃を受けて、多くのデータが消去される被害を受けました。以前から並行して進めていた、新サーバの設定を急ぎ、救済できたデータの移転を行いましたが、１ヶ月半の多大な作業量でした。新バージョンは、見かけは従来と多くは異なりませんが、ハードウェアもソフトウェアもデータも一新しています。

• 新サーバへ移転、EUCからUTF-8に漢字コード変換、apache 等のバージョンアップ [Wilk、下野、嵯峨山]
• 失われたデータの（できるだけ）復旧 [嵯峨山]
• サーバソフトウェアディレクトリ構造の改善 [下野、嵯峨山]
• バックアップ体制、セキュリティ強化 [下野、嵯峨山]
• 自作歌詞を登録し作曲を依頼公募する機能 [嵯峨山]
• 管理・監視ツール類充実 [嵯峨山]

• 作曲の高速化[光本] -- これにより、短い曲ならば 0.5 秒程度で作曲できるようになりました。
• ログイン、ログアウト機能、ユーザ管理の高速化 [嵯峨山]
• 歌詞閲覧ページ、作者応援コメント機能、リンクへのコメント機能 [嵯峨山]
• 条件設定画面のデバッグ [嵯峨山]（やっと取れた！）

• 自動作詞機能の拡充 [堀]
• シンプル版作成 [嵯峨山] -- 新宿高島屋開店20周年記念の「暮らしとロボット展」（2016年8月3～14日、新宿タカシマヤ）デモ用

• サーバ交換による変更作業：日本語解析部 [川連]、音声合成部 [下野、宮代]
• 開発者のユーザ管理機能・データ管理機能の大幅強化（削除機能、公開取り消し機能など） [嵯峨山]
• ブックマーク機能、掲示板機能、統計表示機能、ユーザプロフィール機能 [嵯峨山]
• 自動作詞機能強化 [堀]

Ver. 3.5 - 3.8 (2014.3.- 2015.3.) の新機能は、以下のようなものです。

• ユーザ登録機能 [嵯峨山]
• 作品公開機能、作者検索機能 [嵯峨山]

Ver. 3.4 (2012.10.25-) の新機能は、以下のようなものです。

• 二重唱作曲機能、条件再設定機能 [桐淵（原理は 深山、嵯峨山）]
• 音節ごと個別ピッチ範囲制約つき旋律生成機能（サビ生成などに使える）[深山]
• 開発者のデータ管理機能を大幅に強化（削除機能、公開取り消し機能など） [嵯峨山]

自動作曲エンジンを同じ原理で一から作り直しました。これによって、いままで取り切れなかったバグなどが一掃されることを期待しています。旋律の型として、和声に基づいて和声内音のみ用いた元気のいいタイプと、音楽理論の非和声音規則に基づいた滑らかな旋律のタイプの二種類から選べるようにしました。また、楽器演奏でも言語に基づいた旋律は心地よいとする仮説に基づいて、歌詞のある旋律を楽器で演奏させる間奏を実現しました。Ver. 3.3 で実現した新機能は、以下のようなものです。

• 自動作曲エンジンの作り直し [深山]
• 歌詞から作曲して楽器に演奏させる前奏・間奏・後奏機能 [深山、UI は嵯峨山]
• コード表示機能 [深山、UI は嵯峨山]
• 旋律型選択機能（順次進行、跳躍進行） [深山、UI は嵯峨山]
• 人気投票機能を２ページに（一般向けと特定コミュニティ向け） [嵯峨山]
• 不適切歌詞への警告機能 [嵯峨山]

どのような自動作曲条件が好まれるのかを知るために、投票機能を設けました。自薦・他薦の曲リストが表示され、聴いた人が「いいね！」をクリックすると、票が増える仕掛けになっています。

一般ユーザが好みの和声進行を追加できるように、和声進行の作成登録ツールを開発し、公開しました。開発者らもこれを用いていろいろな表情の和声進行を作成しています。

Ver. 3.2 で実現した主な新機能は、以下のようなものです。

• 和声進行の作成と登録のツール公開 [Parham]
• リズムパターンの作成と登録のツール公開 [嵯峨山]
• ドラムパターンの作成と登録のツール公開 [林]
• 歌詞検索機能 [嵯峨山]
• 作曲結果公開機能と、人気投票機能（「いいね！」"I like it!"） [嵯峨山]
• スタイル自動生成（５００種類余り） [深山]

Ver. 3.1 で実現した新機能は、以下のようなものです。

• 曲構成編集機能(歌詞挿入・変更・削除、前奏・間奏・後奏の挿入削除) [嵯峨山]
• 作曲結果の公開 [嵯峨山]
• 名作展 [嵯峨山]
• 作曲条件(スタイル)の登録機能 [嵯峨山]
• 和声進行の一覧と検索 [嵯峨山]
• リズムパターンの一覧と検索 [嵯峨山]
• 前奏・間奏・後奏の短縮機能 [深山、UI は嵯峨山]
• 歌詞部分の空白機能 [深山]

新しいアーキテクチャに従って、約1年半掛けて全面的に作り直しました。新機能としては、自動作詞機能、作曲作業再開機能、自動歌詞区切り機能、歌詞の読み、イントネーション、節区切りの手動修正機能、歌詞解析の高速化、弱起（アウフタクト）、スタイル選択肢大幅増加、リズムを１６分音符単位に変更、リズム選択肢大幅増加、ドラムス追加、合成音声種類増加、楽譜表示切り替え機能、題名・作者の記入機能、オンラインマニュアル整備、音域選択機能、調選択機能、楽器のみの作曲可能（前奏・間奏・後奏）、ダウンロード機能、外部リンク登録、など多岐に渡ります。

深山が作曲エンジンを、嵯峨山がアーキテクチャ、ユーザインタフェース、開発ツールを、林が開発ツールのリズム作成ツール、その他工学部 計数工学科 3年生有志がリズムパターンを開発。
長らくwebサービスをしていた Ver. 2.1 からは、全面的に作り直し、以下のような多数の新機能が追加しました。

• 自動作詞機能 [堀]
• 作曲作業再開機能 [嵯峨山]
• 自動歌詞区切り機能
• 歌詞の読み、イントネーション、節区切りの手動修正機能 [嵯峨山]
• 歌詞解析の高速化 [深山、Fairy Devices]
• 弱起（アウフタクト） [深山]
• スタイル選択肢増加 [嵯峨山]
• リズムを１６分音符単位に変更 [深山]
• リズム選択肢増加 [工藤、嵯峨山]
• ドラムス追加
• 合成音声種類増加 [齋藤、嵯峨山]
• 楽譜表示切り替え機能、題名・作者の記入機能 [深山、UI は嵯峨山]
• オンラインマニュアル整備 [嵯峨山]
• 音域選択機能 [深山、UI は嵯峨山]
• 調選択機能 [深山、UI は嵯峨山]
• 前奏・間奏・後奏が挿入可能（歌詞を「♪」のみにする） [嵯峨山]
• ダウンロード機能 [嵯峨山]
• 外部リンク登録 [嵯峨山]
• Twitter登録 [深山]

システムの主な開発者は以下の通りです。

• Orpheus Ver 3.0 開発者 (2010.10-
  • 嵯峨山 茂樹（教授）： 全体アーキテクチャとデータ構造設計、PHPプログラミング(ユーザインタフェース)、マニュアルページ作成、各種開発ツール(和声設計、リズム木構造作成、etc.)、自動歌詞区切り、ライブラリ作成
  • 深山 覚（Ｄ２）： 旋律生成アルゴリズム、楽譜生成印刷、合成音声と伴奏音の生成と重畳（MIDI生成とmp3変換）
  • 齋藤 大輔（助教）：サーバ設定、音声合成調整、プログラミング助言、web サーバ（研究室自前）
  • 堀 玄（亜細亜大学准教授）：自動作詞機能
  • 酒向 慎司（名工大助教）： 合成歌唱音声追加
  • 林くん...：ドラムパターン作成プログラム
  • 平田くん...：ドラムパターンライブラリ作成
  • 工藤 佑太、石原くん...（計数工学科 4年）： リズムライブラリ追加
  • 高宗 典玄、杉友 盛佑（計数工学科４年実験生）： 自動作詞アルゴリズム
  • フェアリーデバイセズ社： web対応プログラミング(特にjavascript：但し、使われていない)、デバッグ

Orpheus Ver 2.1 開発者

• 深山 覚： 旋律生成アルゴリズム、楽譜生成印刷
• 深山 覚 (M1?)担当：自動作曲の研究・プロジェクト統括(Ver1.2.1 -)
• 秦 思為 修士課程 ( - 2011.3)担当：作曲コンテンツ素材作成(Ver2.0 -)
• 金 泰憲 修士課程 ( - 2011.3)担当：ver 2.0 機能の検討および実装・作曲コンテンツ素材作成(Ver2.0 -)
• 中野 拓帆 修士課程 ( - 2011.3)担当：作曲コンテンツ素材作成・開発システム管理(Ver2.0 -)
• 鈴木 秦成 (工学部 物理工学科 4年)担当：歌詞とメロディ区切り同期の実装 / 作曲コンテンツ素材作成 (Ver.2.1 -)
• 工藤 佑太 (工学部 計数工学科 4年)担当：作曲コンテンツ素材作成 (Ver.2.1 -)
• 石原 達馬 (工学部 計数工学科 4年)担当：作曲コンテンツ素材作成 (Ver.2.1 -)
• 末石 智大 (工学部 計数工学科 4年)担当：作曲コンテンツ素材作成 (Ver.2.1 -)

Orpheus Ver 2.0 開発者 ()

• 深山 覚（Ｄ２）： 旋律生成アルゴリズム、楽譜生成印刷

Orpheus Ver 1.1.2 開発者

• 米林 裕一郎
• 山本 遼
• 和泉 洋介
• 角尾 衣未留（Ｍ１？）： webデザイン・作曲コンテンツ素材作成(Ver1.2)
• 深山 覚
• 西本 卓也
• 嵯峨山 茂樹

Orpheus Ver 1.1 開発者 (2007.8 - 9)

• 米林 裕一郎（博士課程）： web上システムの設計・実装 (Ver1.1 -)
• 山本 遼（博士課程）： webデザイン・作曲コンテンツ素材作成(Ver1.2)
• 和泉 洋介（博士課程）： webデザイン・作曲コンテンツ素材作成(Ver1.2) (- 2010.10)
• Oyvind Raddum Berg（IAESTE研修生)： web上システムの実装
• 西本 卓也（助手）： サーバ
• 嵯峨山 茂樹（教授）： 全体

Orpheus Ver 1.0 開発者 (2006.10-2007.3)

• 中妻 啓（卒論生）： 旋律生成、楽譜生成印刷、結果評価
• 酒向 慎司（特任助手）： 合成歌唱音声エンジン提供、韻律解析
• 西本 卓也（助手）： 韻律解析 (Galatea-talk を利用)
• 嵯峨山 茂樹（教授）： 原理、アルゴリズム発案、伴奏生成スクリプト作成
• 金子 仁美（桐朋学園大学講師）： 自動作曲結果評価

＜歌詞の韻律を用いた自動作曲システム＞歌詞の韻律に基づく自動歌唱曲作曲モデルと動的計画法を用いた解法の提示
作曲家による主観評価実験で生成楽曲の妥当な音楽性が認められた
中妻啓， 酒向慎司， 小野順貴， 嵯峨山茂樹, "歌詞の韻律を用いた自動作曲," 2007年度日本音響学会春季研究発表会講演論文集, pp. 739-740, 2007.

Orpheus Ver 0.0 開発者 (2006.10-2007.3)

• 中妻 啓（卒論生）： 旋律生成、楽譜生成印刷、結果評価
• 嵯峨山 茂樹（教授）： 構想、アルゴリズム発案、伴奏生成スクリプト作成
• 研究室スタッフ（西本卓也、酒向慎司）：技術的な支援

和声進行に従って、日本語韻律を守って旋律を生成するアルゴリズムを構想。まずはそのアルゴリズムを人手で実行して、十分な作曲結果が得られるかを検証し、予想したよりうまく行きそうとの見込みを立て、最適解探索は人手に代わって動的計画法で自動計算できる見込みを立て、それは卒論レベルの教育的課題に好適と考えて、半年後に始まる卒論生配属時に学生にテーマ提示することにした。以下は、構想中の自動作曲法の人手シミュレーション（機械的に手順を実行）で作成した検証曲の例。各曲とも歌詞のイントネーションに従い、一定のリズムで、和声進行に合わせて旋律音が選ばれている。

• 小学校：ピアノを1年間習った。（受験のため中断後、あとは自己流）
• 中学校：熱心な音楽専科の先生から、授業2回分で和声学の初歩を教わった。
• 高校：合唱で全国優勝する一方、作曲法を自習し、ショパン風の作品を書いた。
• 大学以後：合唱を続ける傍ら、合唱曲作曲継続。しかし、なかなか自分で満足できる作品は作れない。それが本技術の開発動機になった。
• 就職後は、音声認識、音声合成、日本語解析、自動翻訳、日本語対話エージェントなどの研研究遂行。特に、リーダーとして１０機関とともに行った大プロジェクトでは、音声合成に必要な韻律自動解析の技術部品が開発された。
• 大学に転職以後は、数理モデルを用いた音楽情報処理の研究を開始。その最初の研究の一つは、与えられた旋律に適切な和声を付与する問題で、それを音声認識で用いる隠れマルコフモデル(HMM)を用いて最尤解探索により解いた。後に、この発想を逆にして、和声が与えられたときに、最尤旋律解を求める数理定式化に至った。