以下、この記事では、このプログラムに関連する 技術的話題をいくつか紹介していく。 ドライブレコーダのSDカードから GPSの経路情報を抜き出す話は 前の記事 を参照していただきたい。
 |
 |
 |
| 経路一覧を表示。個別に表示・非表示を選択 | 経路を右クリックすると経路名と時間が表示される。動画も再生できる。 | 動画再生中。動画の進行に合わせて地図上のマーカーも移動 |
軌跡に合わせてドラレコの動画も表示したいのだが 通常の.mp4形式の動画ファイルにすると 長時間のドライブの動画はダウンロードに長い時間がかかる。 そこでYoutubuなどの動画配信ではどうしているのだろうか と調べたところで HLS(HTTP Live Streaming)というプロトコル があることを知った。
HLSを使って動画をストリーミング配信する という記事通りにやったところ、 ffmpegで変換でき、 hls.js というライブラリで表示できた。 表示は htmlの<video>要素で行われるので HTMLMediaElementとして再生を操作できる。
前の記事に詳しいが ドライブレコーダの AVIファイルには 動画の画像フレームと同数のGPSの情報がある。 つまりフレーム毎にGPSの緯度経度情報がある。 ドライブレコーダのAVIファイルは30秒ごとに分割されているため 表示用に複数のAVIファイルを結合するが、 それでも対応するフレームがわかれば、対応する緯度経度はわかるはずである。
はず、というのは実際には動画の結合や再エンコーディング時に動画の長さが 長くなったりするからである。が、ここでは 説明を簡単にするため、 動画の再生位置(時間)がわかれば緯度経度がわかるし、緯度経度がわかれば 時間がわかるものとする。
地図上の経路近くをクリックし、最近点の時刻を表示し、動画を再生するには 以下のようにする。
動画の再生画面に対応する場所を地図に示すには以下のようにする
ドラレコの動画ファイルは30秒刻みのAVIファイルなので、 任意の部分をすぐに表示するには 全て結合しHLSプロトコル用のファイルに変換しなければならない。 これは ffmpeg コマンド1発でできるのだが、変換で動画が伸びてしまう。 例えば30秒の動画100本を変換すると 50分の動画になるはずが55分の動画に なったりする。
動画が長くなると、動画と位置がずれる。
原因は AVIファイルに含まれる音声トラックが動画トラックよりも長いせいではないかと想像するが、よくわからない。 音声トラックを出力しないように指定しても変わらない。 AVIファイルの音声トラックを全て取り除けば良いのかもしれないが、 数が膨大でやる気が起きない。
調べると、動画にはPTSとかDTSとかあるらしい。 (参考: ffmpeg を使うなら知っておきたい話 PTSとかDTSの話) PTSだけ、あとから付け直すということも可能らしいのだが、よくわからない。 とりあえず、次の記事を参考に OpenCVで画像を結合した。 (参考: OpenCVを使って複数動画を一発で連結する) 画像結合時の動画の伸びはなくなったが、HLS変換時に若干伸びている気がする。
ドライブの結果を地図上に航跡として見れるのは楽しい。 地図を凝視し、未だ通っていない道を発見し、走りたくなってくる。 現在は、それに加えて動画の再生までできる。 10倍速での再生が可能なので、4時間のドライブでも24分で再生できる。 ついつい何度も見てしまう。
動画はディスク容量の問題があるので、いずれ消すことになるとは思う。 まだまだ改良の余地は多いので、少しづつでもいじって行きたい。
