FPGAで動画にキュアパインを重ねる
これはプリキュアAdvent Calender 2015の19日目の記事です。
フレッシュプリキュアのブルーレイボックスを楽しみにしながらキュアパインと戯れる日々を過ごしているaster_ismです。
はやく、ぶっきーに会いたいです。
さて、昨年のプリキュアAdvent CalenderでもFPGAを使ってよくわからないFPGAでプリキュアの名前をランダムに表示する - 雨のち曇り時々晴れ@aster_ismを作りましが、やっぱり文字だけじゃなくて可愛いキュアパインが表示される方がいい！
ということで、今年はXilinxのVideo IPを流れている映像にプリキュアを合成する専用回路IPをつくることにしました。
簡単にいうと応援アプリみたいな映像が作れるの専用回路です。
注意）FPGAなのでソフトウェアではありません。ハードウェアです。
まず、XilinxのVideo IPは基本的にAXI4-Streamというプロトコルで転送されています。基本的な動作波形は下のようになっています。
tvalidとtreadyが共にHighの時にデータが有効で、フレームの開始1ピクセル目ではtuserがHighとなり、各ラインの最終ピクセルでtlastがHighとなります。とても簡単なプロトコルですね。
つまり、
- tuserとtvalidとtreadyがHighの時に水平方向カウンタと垂直方向カウンタをリセット
- tvalidとtreadyがHighの時に水平方向カウンタをインクリメント
- tlastとtvalidとtreadyがHighの時に水平方向カウンタをリセットして、垂直方向カウンタをインクリメント
という制御を行えば、映像のピクセル位置とその画素が取得できます。
あとはそれぞれのカウンタの値がキュアパイン画像の表示領域である場合にキュアパイン画像のピクセルデータに置き換えをします。
ただ、そのまま画像を置き換えると単純に矩形領域となるので、キュアパイン画像の背景部分も表示されてしまいます。なので、キュアパインの画像データに透過ピクセル(透明)であるとの情報１ビットを付加します。実際のデータは画像生成が楽なのでキリがよい値にしてRGB各4bitと透過ピクセル情報1bitに更に予約領域3bit付加して16bitで1ピクセルの情報とします。
なお、RGB各色が4bitなのは、BASYS3のVGAが4bitな為です。
さて、ディスプレイ出力をVGA(640x480)としたので、キュアパイン画像のデータをとりあえず150x300で作成します。よってピクセル数は45000になります。今回は面倒くさいので、FPGA内部のBlock RAMに画像データをすべて入れます。BASYS3のFPGAはArtix-7なので、この画像だけでBlock RAMを約半分消費してしまいます。他のメンバも表示できるようにするにはFlashか外部メモリに入れてロードする必要がありますが、今回はキュアパインだけ表示できればいいので良しとします。
あとは、カウンタの値を見ながらBlock RAMのデータを順番に読み出しながら、透過ピクセルでなければ来たデータを上書きします。
ただし、Block RAMからの読み出しに1cycle時間が掛かるので、届いたデータを数段バッファリングして上書きするピクセル位置を調整しています（詳しくはソースコード参照）。
これをシミュレーションすると次のような波形が得られます。上の信号が元の画像ピクセルデータ、下の信号がプリキュア合成IPを通った後のデータ。overlay信号がHighはそのピクセルが置き換え対象であることを示しています。途中のデータがキュアパイン？（かどうかはわからないけど別の値）に置き換わっているのが確認できます。透過ビットがあるため必ずしもoverlayがHighでも値が変わってないのがわかります。
作ったaxi4s_precureをIPパッケージとして、Vivado上のブロックデザインでインスタンス化します。他の映像出力に必要な回路と合わせて、最終的にこのような回路となりました。
基本構成は、過去に行ったBASYS3でディスプレイ出力 - aster_ismの工作室にキュアパイン合成回路を挟んだだけです。
さて、実際に動かした結果ですがカラーバー映像にキュアパイン正しくが合成されて出力されているのが確認できます。
RGB各4ビットなので若干色が微妙ですが、許容できる範囲です。
また、途中説明をしませんでしが、回路への入力(xpos,ypos)を変えることでリアルタイムに位置を変更することもできます。
(xpos,ypos)は4bitで１増加するとxposは40px、yposは30px移動するようにして、dipスイッチに繋いでいます。
２枚目のイメージはスイッチを動かしてキュアパインを右下に少しずらした。
本当は、応援アプリみたいにカメラからの画像にリアルタイムに重畳しようとおもったけど、カメラ映像取り込み回路を作るのが面倒だったので映像はXilinxのテストパターンジェネレータのカラーバーとなってしまいました。
一応、axi4s_precureにつながっているBRAMをデュアルポートにして、FlashとかSDカードからデータを読み込むようにすると、全プリキュアを表示するようにもできるかと思います。
時間があれば改良して全プリキュア選択＋カメラ映像の取り込みでオレオレ応援アプリ的な合成回路を作りたいと思います。
