西が丘競技場周りにも赤羽駅行きバス停はありますが、
メインスタンド背にして左手に少し歩くと、バスの赤羽営業所がありましてそこから始発のバスがありますからそちらの方が始発なので良いかと思われます。

時刻表貼り付けておきます。