動画の形式とサイズも書いたほうがいいと思う。
要は最初のhtmlが落ちてきてブラウザがレンダリングしてる段階ではまだ動画が落ちてきてないから表示されてないってだけでは？
自分はそういう目的で使ったことないけど、video.jsみたいなライブラリを介して表示したら遅延読み込みとかはよしなにやってくれるんじゃないのかな。