ご認識のとおり基本的に仲介さんを途中で切り替えることはトラブルになる可能性ありますが、今の仲介さんの動きが悪い(資料を中々請求してくれない、請求しているようだが資料が来ない、返事が遅いなど)場合には改善を求めた上で、対応に不満あり改善も見えないので別の会社を探しますと伝えて切り替えると良いと思います。また、例えばA社とB社から同じ物件の提案をされているがB社の方に別の部分で部がある場合などには、A社の仲介さんには「B仲介からも同様の物件で提案を受けていて、今回は物件の管理もされているB仲介さんで進めることにした。A仲介さんには良くしてもらっているので申し訳ないが、別の物件があった際はAさんから買いたいのでお願いします」と誠意を以てお伝えすると良いと思います。