Kelč byla původně biskupským městem, kde stávala jenom tvrz. V 16. století nechal na místě tvrze postavit renesanční zámek olomoucký biskup Stanislav Pavlovský. Tento biskup je jednou z nejvýznamnějších osobností moravských dějin, proto se u něj chvíli zdržíme. Pavlovský rázně podporoval prosazování katolického náboženství na Moravě, ovládané převážně protestantskou šlechtou. Proto se často dostával do sporu se šlechtici. Mimo to byl také schopný politik a diplomat. Důkazem čehož je jeho diplomatická činnost pro Rudolfa II. Císař ho nechával například vést diplomatické styky monarchie s Polskem. A v neposlední řadě biskup štědře podporoval kulturu a umění, čehož je důkazem i zámek v Kelči. Po biskupově smrti byl zámek doplněn o opevnění. Toto opevnění se dobře osvědčilo v roce 1647 při útoku švédského oddílu, které se zámek pokusil dvakrát neúspěšně dobýt. Po třicetileté válce nastává období úpadku města Kelče, což se projevuje mimo jiné tím, že zámek se dále nepřestavuje a zachovává si renesanční podobu. V současné době budova slouží jako internát a učiliště a je veřejnosti nepřístupná.
