現地調査時にシロアリ被害があると言われたのですが、撤退すべきでしょうか？

シロアリ有無だけで判断せず、そこを修繕するにはいくら掛かるかで判断すべきなので、

見積を取得しましょう。