U23チームに実力がついたとしても繰り上げ昇格あるのでJ2昇格を阻む大きな障害にあまりならないと思います。(オーバーエイジ枠等による試合毎の戦力差については議論あると思いますが)
それよりもJ2ライセンス持ってないチームが1位2位守り続ける状況の方がJ2ライセンス持ってるチームからすると恐怖かもしれません。