ゲームのメッセージ欄に表示されたメッセージの読み上げシステム

ということで、先週辺りから海外のゲームをプレイしているんだが、一つ問題がある。

その問題とは「reading の経験値しか得られない」ということだ。

日本のゲームの海外移植版をやるのがとっかかり易いと考えてたが、 そのゲームの TEXT は英語だが音声は日本語のままだった。 てっきり海外移植版なら音声も英語になっているものだと思っていたが、完全に想定外だった。

それならば、海外制作のオリジナルゲームなら音声も英語だろう、と思って探したが、 そもそも海外制作のノベルゲームやアドベンチャーゲームというジャンルはほとんど無かった。 あっても、音声がないという状況だ。 もちろん、他のジャンルのゲームなら英語音声のものはある。 しかしそのようなゲームは、TEXT の量的問題や、 そもそも英語とか関係なくゲームが進んでいって、 ほとんど単にゲームをプレイしているだけになってしまう、という問題がある。

ちなみに、海外ドラマや映画を学習手段として試したことがあるが、 アレはスピードが速すぎて、 自分のレベルではとてもではないけどハードルが高過ぎるという結論になっている。

自分のペースで進められる、というのが、 ノベルゲームやアドベンチャーゲームの良いところだ。

もちろん、内容が面白く持続できるということが前提だが。

なお、今回海外のゲームを探してみて初めて気が付いたことだが、 海外でアドベンチャーゲームというと、日本のアドベンチャーゲームとは全く違って、 アクションゲームがアドベンチャーゲームに分類されていた。

まぁ「adventure」 は「冒険」なんだから、当然といえば当然だろうが。

だいぶ前置きが長くなったが、 そんな訳で、多くの時間を費やして「reading の経験値しか得られない」のは勿体無いので、 「どうにかしてゲームに音声を付けよう」と思い、今回のツール制作に至った。

スクリーンショット用に次をインストールする。

$ pip install pywin32
$ pip install Pillow
$ pip install pyscreenshot

pywin32 は、 win32gui で特定の Window の領域を取得するために必要。

具体的には次のような感じ。

def getImageOf( window_title ):
    rect = win32gui.GetWindowRect( win32gui.FindWindow(None,  window_title ) )
    return ImageGrab.grab().crop( rect )

次の処理を OpenCV で行なう。

• ゲーム画面からメッセージ領域を判定
• メッセージ領域内のメッセージ画像を抽出

ちなみに OpenCV のインストールは次で出来る。

$ pip install opencv-python

次の処理を Tesseract OCR で行なう。

• 抽出したメッセージ画像を OCR にかけて TEXT に変換

Tesseract OCR は、次の URL からバイナリをダウンロードしてインストールし、

https://github.com/UB-Mannheim/tesseract/wiki

さらに python から利用するためのパッケージをインストールする。

$ pip3 install pyocr

次の処理を SAPI.SpVoice で行なう。

• 変換した TEXT を Text To Speech で音声化する

<https://github.com/mhammond/pywin32/releases> から、 python のバージョンに合う win32com モジュールのインストーラをダウンロードし、 インストールする。

SAPI.Speech の制御方法は、次の URL を参考に。

<https://www.daniweb.com/programming/software-development/code/217062/text-to-speech-using-com-python>

この SAPI.SpVoice の音声は、 一昔前の合成音声に比べればだいぶマシに聞こえるが、やはり違和感を感じる。

英語が出来ない自分が、英語の音声に違和感の文句を云うのもどうかと思うが、 やはりイマドキの最新の Text To Speech 技術と比べると、品質が落ちる。

そこで、Text To Speech の部分はクラウドサービスを使って違和感の緩和を検討する。 これについては後日取り上げる。

GUI は tkinter を利用する。

用途は次の通り。

• ゲームの Window 指定
• OCR のトリガ
• OCR 後のメッセージ表示 & 編集
• 音声再生制御 (再生スピード,音量)

折角なので、学習の履歴を残す。

履歴は、日付、OCR 結果、全文字数 で、JSON 形式で残す。

このシステムの一番の欠点は、読み上げられる音声に全く感情が入らないってことだろう。 ゲームのト書部分なら無感情でも問題ないが、 セリフが無感情で読み上げられるのは、いささか味気ない。 まぁ、そこは割り切るしかないが。 今は、クリアに音声が聞こえる事の方が重要だろう。 感情がどうこういうのは、 実力が付いてから海外ドラマや映画を見るようにすれば良い話だ。