42条2項道路に接する物件について、セットバックが必要な面積が約5.5m2程度の場合撤退するほどの理由にはならないですか？

はい、基本的には撤退するほどの理由にはならないと思います。特に道路に並行にセットバックするだけであれば購入判断への影響は軽微と思います。