V místě dnešního kostela Navštívení Panny Marie v Zašové stával ve středověku kostelík zasvěcený sv. Anně, poničený za husitských válek. První záznamy o poutích do kostela pocházejí z roku 1672. Kostelík byl několikrát upravován a v 18. století definitivně zaniknul. Na jeho místo byl postaven barokní chrám, zasvěcený Panně Marii a to v letech 1714 – 1725. Jde o poměrně rozsáhlou stavbu s dvouvěžovým průčelím. Stavbu vedl místní stavitel Jiří Kocourek, jméno architekta neznáme. Kostel vysvětil v roce 1725 olomoucký kanovník a při té příležitosti byl v kostele instalován milostný obraz Panny Marie, který sem byl přinesen ze zmíněného kostelíka sv. Anny.
Klášter při poutním kostele vznikl 22. října 1722, tehdy byla podepsána zakládající listina zašovského kláštera trinitářů. Císař dal k jeho založení svolení až o dva roky později, v listopadu 1724. První mniši přišli do kláštera o rok později, kdy byl zároveň položen jeho základní kámen. Před dokončením hrubé stavby r. 1728 bydleli trinitáři v budově panského dvora. Jejich hlavním úkolem byla starost o poutní místo. Mimo to pozdvihli materiální, duchovní a kulturní úroveň obce. Věnovali se také badatelské činnosti, či šlechtění nových odrůd ovoce. Díky poutím se klášter rozrůstal a prosperoval, ale nemělo to dlouhého trvání.
Během josefínských reforem v roce 1783 klášter zrušili. Následně v jeho části vznikla fara. Část budov odkoupila obec a přemístila sem obecní školu. Zbylé části klášterního areálu postupně koupili soukromníci. Například Rudolf Schlattauer zde založil dílnu na výrobu gobelínů, ze které později vznikla ve Valašském Meziříčí prosperující firma. Roku 1871 kostel vyhořel a musel být opraven, tehdy získal dnešní podobu. Roku 1901 zakoupil budovu bývalého kláštera Spolek sv. Josefa z Vítkovic, který ji proměnil na sirotčinec a postavil při něm soukromou školu Školních sester de Notre Dame (Ústav sv. Josefa). Za socialismu byl ústav zestátněn a následně využíván jako domov důchodců a následně domov pro osoby s kombinovaným, převážně mentálním zdravotním postižením. V současnosti je areál kláštera majetkem obce Zašová a kostel je nadále vyhledávaným poutním místem.
