CeVIO(チェビオ)は、ユーザー生成コンテンツを支援するために誕生したプロジェクトである。名古屋工業大学学内ベンチャー企業のテクノスピーチ、デジタルサイネージのブイシンク、映像ソフト会社のフロンティアワークスなどの複数の会社によって構成されている。デジタルサイネージのCeVIO Visionや、音声合成ソフトウェアのCeVIO Creative Studioなどをリリースしている。
またCeVIOという語は、このプロジェクトがリリースする音声合成ソフトウェア(CeVIO Creative Studio、CeVIO AI)のことを指す場合もある。このソフトウェアの姉妹ブランドとしてVoiSonaが存在する。
「CeVIO」という名称は、VOICEという語のアナグラムである。
本稿では、主に音声合成ソフトウェアのCeVIOについて説明する。
企画 CeVIO Vision
CeVIO Vision(チェビオ ビジョン)はキャラクターとの双方向なやりとりが可能な音声デジタルサイネージ(電子看板)である。CeVIOプロジェクトの企画第1弾として登場した新たな音声&歌声合成プロジェクト「CeVIO(チェビオ)」本格始動!~企画第1弾はアニメイト秋葉原にキャラクターと直接会話ができる「CeVIO Vision」~。
最初の登場は、CeVIOプロジェクトのキャラクター「さとうささら」が等身大サイズとなり2013年1月22日より1年間、アニメイト秋葉原店入り口横で稼働した【公式】秋葉原CeVIO Vision"さとうささら"会話デモ映像。
その後は常設展示はないが、イベント等で展示されることがあるチェビオフェスタにて設置されていた、CeVIO Visionです。。
CeVIO Visionの技術背景
名古屋工業大学で研究開発され、MMD(MikuMikuDance)モデルを使用可能な対話エージェントシステム「MMDAgent」がベースとなっている。
アニメイトで展示されたシステムはIntel製のプラットホームでWindows Embedded上で稼働するキャラクターとの音声対話で先進的なユーザー体験を提供する次世代型デジタルサイネージ「CeVIO Vision」。
Kinect V2を利用したリアルタイムモーション検出に対応する「CeVIO Vision」をSCビジネスフェア 2015に出展。
CeVIO Visionの歴史
アニメイト秋葉原店入り口横で稼働開始(1年間) SCビジネスフェア 2015に出展 宣伝会議 プロモーション&クリエイティブフォーラム2015に出展「CeVIO Vision」を宣伝会議 プロモーション&クリエイティブフォーラム2015に出展 文部科学省内で展示(2016年12月22日まで)文部科学省に「CeVIO Vision」を展示。
CeVIO Visionの関連製品
「スマートビジョン」 - バーチャルキャラクターがリアルタイムに音声認識/音声合成で情報案内をしてくれるサイネージ。さとうささらが採用されているなどCeVIO Visionと同等の機能を有する製品。 「ケアアシストサイネージ」 - 介護支援施設向けのデジタルサイネージ。高齢者介護向けの機能が充実している。引き続きさとうささらがキャラクターとして採用されている。
CeVIO Creative Studio
CeVIO Creative Studio(チェビオ クリエイティブスタジオ)は、テキストを入力すると合成して読み上げるトーク機能(Text-To-Speech)と、歌詞をピアノロール上に入力して歌い上げるソング機能(ボーカルシンセサイザー)の2つを併せ持つ、音声合成ソフトウェア。
トーク、ソングそれぞれに対応した音声ライブラリ・キャラクターが存在しており#ボイスライブラリ対応表、両方のライブラリを持つキャラクターも存在する(さとうささら、ONEなど)。マルチトラックに対応しており、トークとソングを組み合わせた音声作品を作ることも可能である(例えばナナホシ管弦楽団による楽曲『おねがいダーリン』など)。WAVファイルをオーディオトラックとして読み込むことも可能で、伴奏などのオケを取り込むことで簡易MIXも可能(MIXした状態で音声ファイルとして出力できる)。ソング、トークともに生成した音声ファイルの出力だけでなく音素のタイミング情報を記載したラベルファイル(.lab)を出力することが可能で、リップシンクなどに利用ができる。
CeVIO AIの発売後も併売されるが、ソングボイス・トークボイスに互換性はなくCeVIO AIのボイスを使用することはできないCeVIO AIソングボイスの動作にはCeVIO AIソングエディタが必要です。CeVIO Creative StudioやCeVIO CS7では動作しませんので、ご注意ください。。
トーク機能
縦に複数行が並ぶUIをもち、各行ごとに文字を入力すると音声が合成される。各行ごとに音声ライブラリ・キャラクターを切り替えることが可能で、掛け合いなどの会話劇を作ることができる。
各行ごとに複数のパラメータによる表情設定ができる他、音声ライブラリ・キャラクターごとの独自の感情コントロールで表情付けをすることができるセリフの表情設定。
長文の外部テキストファイルを読み込むことが可能なほか、青空文庫の形式を読み込むことも可能。青空文庫方式のルビ表記にも対応する。 生成した音声はWAV形式で出力する以外にも、元の文章をテキストファイルとして出力したり、字幕(srt形式)ファイルを出力することも可能。
SAPI 5に対応し、外部ソフトと連携して読み上げソフトとしての利用もできる。また、COMやC#向けの専用APIが公開されており、SAPI5以上の細かなパラメータを外部ソフトから制御することが可能外部連携インターフェイス - CeVIO Creative Studio ユーザーズガイド。
ソング機能 thumb|歌声の入力が可能なシーケンスソフトに用いられるピアノロール表示の例。CeVIO CSのソングエディタでは図のものと同様、ピアノロールの音符の中に歌詞を入力することで歌を表現する。
DTMで一般的なピアノロール型シーケンサーのユーザーインターフェースを持つ。 ピアノロールのUIの上に各パラメータを扱う以下のモードを切り替えて調声を行う歌声の調整②(調整画面)。パラメータによって操作方法は異なる。 NOR - 楽譜入力 TMG - 発声のタイミングを調整 VOL - 音の大きさを調整 PIT - 音の高さを調整 VIA - ビブラートの振幅 VIF - ビブラートの周期調整 ALP - 声質を調整。曲全体の声質を変更するUI(声質バー)も別に存在する 歌詞の一部に特殊な記号を入力することで(「※」ファルセットや「'」母音脱落など)歌い方を指定することができる。 MIDI形式によるトラックのインポート・エクスポートに対応するほか、MusicXMLによるソングトラックのインポート・エクスポートに対応する。
技術背景
名古屋工業大学で研究された音声合成技術をもとにしており、姉妹ソフトとして「Open JTalk」「Sinsy」が存在する。
VOCALOIDやUTAU、VOICEROIDなど類似の音声合成ソフトが採用する波形接続型音声合成方式とは異なり、統計的パラメトリック音声合成方式のひとつ、HMM(隠れマルコフモデル音声合成)を用いる『CeVIO Creative Studio 7』は、最新のHMM音声合成技術により人間の発声をシミュレートした明瞭で自然な歌声と、感情を交えた表現力豊かな読み上げ音声を実現した音声創作ソフトウェアです。。 この音声合成方式の違いはDTMにおけるソフトウェア音源の区別、「サンプラー音源」と「物理モデル音源」の特徴の違いとおおよそ同じである。
波形接続型(≒サンプラー音源)の特徴 実際の音を基にするためリアル 音自体の加工に弱い 実際の波形データを持つため音源データの容量が巨大 統計的パラメトリック型(≒物理モデル音源)の特徴 シミュレートして音を生成するためややリアルさに欠ける 音自体の加工に強い 実際の波形データを持つわけではないため音源データの容量が軽量
音声分析の一部にはUTAUやNEUTRINOなどで広く使われているWORLDが利用されている音声創作ソフトウェアCeVIOの音声分析の一部にもWORLDが使われています.。
ライセンス利用について
商業利用においては規約に沿ったライセンスが記載されているが、個人利用の分においては規約の範疇を超えない限り同人活動も可能となっている音声データやキャラクターの利用について。なお、Creative Studioの利用だけでなく、さとうささら・すずきつづみ・タカハシについては別途キャラクターライセンスCeVIO キャラクターライセンス が、サードパーティライブラリのキャラクターについてはそれぞれのライセンスに従う必要がある。
CeVIO CS対応ボイス 2021年1月29日現在、CeVIO CSに対応しているボイスは以下の通りである。 さとうささら - (ソング、トーク) すずきつづみ - (トーク) タカハシ - (トーク) IA - (英語ソング、トーク) ONE - (ソング、トーク) 赤咲湊 - (ソング) 緑咲香澄 - (ソング) 銀咲大和 - (ソング) 金咲小春 - (ソング) 白咲優大 - (ソング) 黄咲愛里 - (ソング) ハルオロイド・ミナミ - (ソング)
CeVIO AIのライブラリは利用できない。 詳しくは「ボイスライブラリ対応表」を参照のこと。
歴史
たびたびベータテストとアップデートが行われており、逐次機能が更新されている。
FREE 初版公開 - 音声はさとうささら(トークのみ) FREE ver. 1.0.2.0 公開 FREE ver. 1.0.3.0 公開 FREE ver. 1.1.2.0 公開 FREE ver. 1.2.3.1 公開 - 歌声作成機能(ソング)が実装された FREE ver. 1.2.4.2 公開 製品版発売 ver.2.0.11.2 - 特典付き初回盤パッケージが発売された CeVIO製品情報 FREE ver. 1.3.2.0 公開 - Windows Vista(64bit)、Windows XP(32bit)に対応 CS2.2 ver.2.2.12.3 - 『CLIP STUDIO ACTION』(セルシス)との連携に対応 FREE版の配布終了 CS3 ver. 3.0.4.0 公開 - 正式名称が「CeVIO Creative Studio S」に 通常版パッケージ発売 CS3.2 ver. 3.2.17.3 公開 CS4 ver. 4.0.17.1 公開 CS4.1 ver. 4.1.16.0 公開 CS5 ver. 5.0.10.3 公開 CS5.1 ver. 5.1.7.2 公開 CS6 ver. 6.0.28.3 公開 - 正式名称から「S」が付かなくなった CS6.1 ver. 6.1.8.2 公開 CS7 ver. 7.0.17 公開 - 64bitアプリ化。CS6までとは別アプリとなった CS7 ver. 7.0.22.3 公開 CS7 ver. 7.0.23.1 公開
2013年6月には、さとうささらの歌声合成機能(機能限定)の無料版がリリースされた。2013年9月には、音声合成用にタカハシ(男)とすずきつづみ(女)のキャラクターが追加され、さとうささらの歌声合成機能が無制限になった有料版がリリースされた。2014年11月19日に無料配布版の配布は停止したが、30日利用可能な無料体験版が配布されている。
2020年4月10日、新型コロナウイルスの蔓延への対策としてオンライン授業等で音声を使えるよう、日本全国の教育機関向けに無償で1年間使用できるライセンスが発行された(その後、1年間さらに延長)。
2021年1月のCeVIO AIの発売後も併売されるが、ボイスに互換性はない。
受賞歴
Microsoft Innovation Award 2013 コンシューマー部門CeVIO Creative StudioがMicrosoft Innovation Award 2013を優秀賞をいただきました CEDEC AWARDS 2013 サウンド部門豊富な感情表現ができる画期的な音声合成技術「CeVIO Creative Studio」開発チーム(CeVIOプロジェクト) 第23回Vectorプロレジ大賞 特別賞【Vectorからのお知らせ】Vector製品版ソフト人気No.1が決定「第23回Vectorプロレジ大賞」結果発表 第24回Vectorプロレジ大賞 クリエイター 部門賞【Vectorからのお知らせ】Vector製品版ソフト人気No.1が決定「第24回Vectorプロレジ大賞」結果発表 第27回Vectorプロレジ大賞 特別賞 第30回Vectorプロレジ大賞 クリエイター 部門賞 第34回Vectorプロレジ大賞 クリエイター 部門賞 第35回Vectorプロレジ大賞 クリエイター 部門賞
CeVIO AI
CeVIO AI(チェビオ エーアイ)は、CeVIO Creative Studio(CeVIO CS)のトーク機能:話し声合成(TTS)・ソング機能:歌声合成(ボーカルシンセサイザー)の2つができる特徴を引き継ぎつつ、音声合成にディープニューラルネットワーク(DNN)や畳み込みニューラルネットワーク(CNN)といったAI技術を使用した、次世代の音声合成ソフトウェア。
実在する歌手などの声を事前に学習したAIが、入力されたせりふや楽譜データを基に本人らしい声質や歌い方を自動でシミュレーションすることで人間による歌声・話し声をリアルに再現することが可能。また、使いやすくなったGUIにより、ピッチパターン、タイミング等を自在に編集することができるようになったAI音声合成ソフト「CeVIO AI」年内発売 ONE、IA、結月ゆかり、v flowerなど音源化最新のAI技術で歌声・話し声をリアルに再現する音声創作ソフトウェア「CeVIO AI」ソングボイス・トークボイスを発売へ。
従来のCeVIO CSとは別製品となり、CeVIO AI発売後もCeVIO AIとCeVIO CSは継続して並行販売される。CeVIO AIとCeVIO CSを同時に起動することも可能2020.11.20 『CeVIO AI』発売予定と製品のご説明。また、従来のCSシリーズのプロジェクト形式であるCCSファイル、CSシリーズでも可能だったMusicXMLの読み込みにも対応する。
テクノスピーチ社Twitter上で紹介されたUIのスクリーンショットで、従来のCSシリーズを踏襲しつつ、CSシリーズには無い白基調の画面デザインが公開されたこちらは開発中のものですが、CeVIO AIのGUIになります。開発も大詰めになってきました。素敵なサードパーティー様からの発表が続きましたが、そろそろCeVIOプロジェクトからも心躍る発表をしていきたいと思っております。存分にご期待ください。。CeVIO CS7とほぼ同等機能のエディタをもつAI歌声合成でさとうささらが人のように歌う!来年1~3月発売予定となったCeVIO AIを試してみた。
CeVIO AIのトーク機能
基本的なUIや機能はCeVIO CSと同様。ver 8.0.18.0で字幕ファイルのインポートに対応した。
Ver8.1にて事前に音声を生成しておくプリレンダー機能が搭載され、動作のレスポンスが改善された。
『CeVIO AI 弦巻マキ トークボイス English』の発売に伴い、日本語とは異なる英語入力インターフェイスの仕様が公開された。新しいアクセント入力は2021年9月のVer.8.1.16.0にて実装された。 半角英数文字のみ入力可能 強弱アクセントである英語に対応した「ストレス(強勢)」を3段階に調整できる新しいアクセント入力 アクセント分割/結合の機能なし 日本語と異なる仕様の単語登録 「ポーズの設定」なし
Ver.8.1.21にて単語単位のPIT/VOLの調整に対応した(これ以前はセリフ行・文字・音素単位)。
Ver.8.3にて24bit/32bit float出力に対応した。
CeVIO AIのソング機能
基本的なUIや機能はCeVIO CSと同様。Ver8.1にて高速化されレスポンスが改善された。
Ver.8.1.16にてノート選択時の専用の歌詞のまとめ入力UIが追加された(ノート未選択の場合は従来通り)。
Ver.8.2より、日本語ソングボイスライブラリでの英語歌詞入力機能(クロスランゲージ機能ではない)、「楽譜編集画面でタイミング調整」機能が実装された。
Ver.8.3にて24bit/32bit float出力に対応した他、アクセント・スタッカート・11段階の強弱指定に対応した。またアンドゥの高速化が行われた。
Ver.8.4にて「母音のタイミング補正」機能が追加。また、TMGモードでの操作が「楽譜編集画面でタイミング調整」機能に統一。歌詞の特殊記号「^」「^」の追加。 歌詞の特殊記号はボイスライブラリ毎に細かな歌い方を変更できる指定であり、一部は以前のバージョンから入力可能であったが8.4ですべて入力可能になったとともに、詳細な仕様が公表された。
CeVIO AIの技術背景
名古屋工業大学 国際音声言語技術研究所、および名工大ベンチャー企業であるテクノスピーチ社によって研究開発された音声合成技術を使用するAI技術により超高精度な歌声合成を実現~バーチャルシンガーの歌声は人と区別できない時代へ~。
CeVIO CSと同様の統計的パラメトリック音声合成ではあるが、深層学習によるDNN音声合成や回帰型ニューラルネットワーク(RNN)を用いて従来よりも自然な歌声・話し声を実現した無調整でもほぼ人間 AI歌声合成ソフト「CeVIO AI」の実力。また、畳み込みニューラルネットワーク(CNN)を用いた計算量削減などの手法も行われている2019年日本音響学会秋季研究発表会「CNNに基づく歌声合成における計算量削減の検討」。
姉妹ソフトであるSinsyは2018年からDNN版が存在した が、Open JTalkはCeVIO AIリリース時にはDNN版が公開されておらず、CeVIO AIが技術的に先行することとなった。なお、Sinsy・Open JTalk・CeVIO AIが共通で利用する音声合成学習モデルツールキットの「HTS」は2017年12月25日にDNN版が公開されている。
CeVIO AI対応ボイス
2023年6月現在、以下の音声ライブラリ・キャラクターが発表されている。CSシリーズのライブラリは利用できない が、将来的な利用は検討されている2020.11.20 『CeVIO AI』発売予定と製品のご説明『CeVIO Creative Studio』用トークボイス/ソングボイスは、 『CeVIO AI』ではご利用いただけません。将来的なアップデートによる対応を検討中です。 さとうささら - (トーク2021.01.22 『CeVIO AI さとうささら』トークボイスとソングボイスの発売決定!、ソングAI技術による音声創作ソフトウェア「CeVIO AI」発売に関するお知らせ) IA - (日・英ソングIA 9th & ONE 6th Anniversary ‒Super LIVESHOW-、トークCEVIOプロジェクトからAI技術による音声創作ソフトウェア「CEVIO AI」の発売が決定!従来CEVIOボイスから「IAトーク」「ONEトーク」も参入予定!) ONE - (ソング、トーク) 結月ゆかり - (ソング結月ゆかりが「CeVIO AI」としてリリース決定) Ci flower - (ソングflowerの、新規音声合成ソフト「CeVIO AI」対応について) 可不(KAFU)- (ソング音声創作ソフトウェア「CeVIO AI」とのコラボレーションによって実現したプロジェクト音楽的同位体「可不(KAFU)」は2020年冬にデビュー予定!プロジェクトの詳しい内容はまた後日発表いたします。(運営スタッフ) ) 東北きりたん - (ソング) 小春六花 - (トーク) 弦巻マキ - (日本語・英語トーク次世代音声合成ソフトが多数登場!小春六花、弦巻マキ、Synthesizer V AIなど) ロサ(ROSA) - (日本語・英語トーク) 夏色花梨 - (トーク) 花隈千冬 - (トーク) フィーちゃん - (トーク) 星界(SEKAI) - (ソング) 東北ずん子 - (ソング) 東北イタコ - (ソング) すずきつづみ - (ソング、トーク) #KZN - (ソング) POPY - (ソング) ROSE - (ソング) 裏命(RIME) - (ソング) 狐子(COKO) - (ソング) 羽累(HARU) - (ソング) 双葉湊音 - (トーク、ソング) タカハシ - (トーク) 奏兎める - (ソング) 分散型自律ゴーレム りむる - (ソング) ユニちゃん - (トーク、ソング) 梵そよぎ - (トーク、ソング) 四国めたん - (ソング) ずんだもん - (ソング) 箱庭ハノ - (ソング) 箱庭コト - (ソング)
詳しくは「ボイスライブラリ対応表」を参照のこと。
CeVIO AIの歴史
発売告知 - 2020年度第3四半期中。対応ボイスはIA、,ONE、結月ゆかり、v flower CeVIO AIトークのボイスサンプルが初公開【CeVIO AI】CeVIO AI トークボイス サンプルボイス【開発中】 リリース時期が2021年初頭に延期される当初年内の発売を予定しておりましたがサードパーティー各社ともスケジュールを調整しつつ、現在、2021年初頭の発売を予定しております。 初版 ver 8.0.9.0 初版(製品版エディタ)先行DL開始【お知らせ】本日より『CeVIO AI』製品版のエディタを先行ダウンロードして頂けます 初版 ver 8.0.9.0 発売 - 製品は「CeVIO AI結月ゆかり麗ソングスターター」のみ ver 8.0.18.0 - トーク対応。外部字幕ファイルのインポートに対応 ver 8.0.20.0 - 「CeVIO AI 小春六花 トークボイス」対応・「CeVIO AI 小春六花」トークボイスに対応。 ver 8.1.3.0 - ソング&トークエンジンアップデート、各種エディタ改良。弦巻マキトークボイス対応 ver 8.1.5.0 - 英語トークにルビ入力機能追加 ver.8.1.16.0 - 英語トークに強弱アクセント指定機能追加、ソングのノート選択時の歌詞のまとめ入力変更 ver.8.1.21.0 - トークエディタに単語単位のPIT/VOL調整機能追加。IA&ONEソングボイス対応 ver.8.1.24.0 - トークエンジンアップデート、「フィーちゃん トークボイス」対応 ver.8.2.4.0 - ver.8.2正式公開。ソングに日本語ボイスで英語歌詞入力機能、楽譜編集時にタイミング調整機能が追加 ver.8.3.3.0 - ver.8.3正式公開。24bit/32bit floatのWAVファイル書き出し対応、ソング:アクセント・スタッカート対応、11段階の強弱指定対応、アンドゥ高速化。トーク:音素グラフ改良など ver.8.4.0.0 - ver.8.4正式公開。ソングのタイミング調整機能の向上、歌詞の特殊記号入力対応など
VoiSona「旧CeVIO Pro(仮)」
VoiSona(ボイソナ)は、CeVIO AIとは別に開発されているCeVIO AIとCeVIO Proは別の製品になります。、AI音声合成ソフト。CeVIOの姉妹ブランドソフトとして位置づけられている。2022年9月1日より正式提供開始。VSTiプラグインやAUプラグインとして各種DAWソフト上で動くほか、macOSにも対応先週ツイートした開発中の「CeVIO Pro(仮)」はVSTiで動くAI歌声合成ソフトです。色々なDAW上(Win, Mac)で動くみたいなので、たくさんの方に使っていただきたいですね!#CeVIO。macOS版はAppleシリコンにネイティブ対応する。
CeVIO CS、CeVIO AIと同様、話し声合成(TTS)のトーク、歌声合成(ボーカルシンセサイザー)のソングの両方の機能を備えることを目指すが、リリース時点ではソング機能のみであった。トーク版は2023年9月1日現在、開発版が公開されている。
エディター、およびデフォルト付属ライブラリ「知声」は無償で利用可能。サードパーティのボイスライブラリについては、ビジネスモデルとしては、AIによる音声合成技術が人の仕事を奪うという状況を避けるため、音声提供者となる演者(声優、ボーカルなど)に定常的な収入が入るような仕組み、また継続して技術開発の出来る仕組みとしてサブスクリプションモデルが採用される。
VoiSonaは合成エンジン、エディタともにテクノスピーチが製作(CeVIOシリーズにおいてはGUIおよびエディタをブイシンクが担当する)しており、テクノスピーチが取得している商標に置き換える形でCeVIOとの相互換がある様な誤解を避ける形をとっている。CeVIO Creative Studio、CeVIO AIとは前述の通りビジネルモデルの違いにより、ボイスライブラリの互換性はない。CeVIO AIのボイスライブラリに関しては優待販売が予定されている。
2023年8月25日には、VoiSona Talkの開発版の公開を発表。同年9月1日にVoiSona Talkのデフォルトボイスライブラリ「田中傘」が付属し、無料でトライアル公開された。同日、姉妹ブランド「CeVIO AI」のソングボイスライブラリ「さとうささら」「#kzn」「結月ゆかり 麗」「双葉湊音」購入者向けにVoiSona版の各同名ライブラリの無償提供も開始された。2024年3月22日に正式版がリリース。
VoiSona対応ボイスライブラリ
知声 - 無料で利用可能なデフォルトボイスライブラリ さとうささら 機流音 AiSuu #KZN 結月ゆかり 麗 MYK-IV 双葉湊音 すずきつづみ Pepper IA OИE Ci flower LAUGH DiAMOND(ラフダイヤモンド)シリーズ 山田花音 風祭朝陽 篁響季 小紫桃果 奏兎める 玉姫 東北きりたん 東北ずん子 東北イタコ 四国めたん ずんだもん
VoiSona Talk対応ボイスライブラリ 田中傘 さとうささら すずきつづみ タカハシ 双葉湊音 弦巻マキ 小春六花 夏色花梨 花隈千冬
VoiSonaの歴史 2019年10月9日 - ICTイノベーションフォーラム2019にて初めて展示された10月9日に明治記念館でポスター展示します。一般の方も無料で入れるようです。最新の歌声合成のデモもするのでぜひ。