Na východním okraji náměstí se dvěma kašnami z 18. století stojí hodnotný, původně raně gotický kostel Navštívení Panny Marie, jedna z nejstarších staveb města.

Větší ze dvou vimperských kostelů je zasvěcen Panně Marii a spolu s městskou zvonicí tvoří výraznou dominantu staré části města. Ale nejen stavba samotná zaujme svou výraznosti, výrazná je i historie, která se k ní váže.

Původně se jednalo o jednolodní raně gotickou svatyni, ale po přestavbách v roce 1365 a začátkem 16. století dostal kostel dnešní dvoulodní podobu, i když boční loď je velmi úzká. Sakristie je na severní straně propojena s kaplí sv. Anny, na jihozápadním nároží se tyčí hranolová kostelní věž s routovou střechou. Nástěnná malba Deseti tisíc mučedníků v lodi je z 15. století, malované citáty z bible v předsíni hlavního vchodu ve sgrafitových rámcích z roku 1572 a socha Madony s děckem je z počátku 15. století. Hlavní oltář je barokní stejně jako zasklená tumba z roku 1768 s kostrou sv. Inocence.

Před kostelem je pozdně gotická městská zvonice z doby okolo roku 1500, nově upravená v roce 1909. V centru města se dochovalo několik hrázděných srubových domů s polovalbovými střechami ze 17. a 18. století.