ハードルは高いですが、地方の信金信組などであれば復職後の給与を示すことで通る可能性はあると思います。

女性の場合は公庫の女性起業家支援というメニューがあり、融資の可能性が一番高い金融機関と思います。

公庫の新規開業資金詳細：https://www.jfc.go.jp/n/finance/search/02_zyoseikigyouka_m.html