鳥栖や久留米にもホテルはありますが、スーツケースをガラガラさせて移動するのは大変だしロッカーも少ないので博多に泊まって博多駅に荷物を預けて身軽に鳥栖スタにいらしたほうがいいかもしれません。当日は電車も混むでしょうから。
博多からなら学問の神さま、太宰府天満宮がオススメです。梅は終わってるでしょうけど。