公的金融機関などへの打診を行わずに融資を断ると、買主都合による契約解除と判断され、手付金が返還されない可能性はありますか？

最終的には売買契約書の内容次第ですが、買主が融資打診を十分に行っていないと主張された場合、買主側に原因があると判断される可能性があります。
その結果、買主都合の契約解除とされ、手付金が返還されないケースも考えられます。

手付金は確実に回収したいため、公的金融機関を含め、形式的にも実質的にも融資打診を行い、「融資を試みたが結果として融資が付かなかった」という整理にしておく方が安全です。