少し遠回りだけど、高松からマリンライナーで行き岡山から新幹線の手段もありますよ
前日の夜から動けるなら、高松から出ている寝台特急もありかも？
一応、参考までにどうぞ