Páter Zavarský bol zo sústreďovacieho kláštora v Podolínci prepustený 28. apríla 1950 na žiadosť Slovenského chrámového družstva ako nenahraditeľný odborník  v oblasti cirkevného výtvarného umenia. Ubytoval sa na Vazovovej ulici 34, v budove farského úradu neďaleko blumentálskeho kostola. Nemožno povedať, že by toto prepustenie pátrovi Zavarskému prilepšilo. Prišiel síce na relatívnu slobodu, vrátil sa na staré miesta, no tu panovala ťaživá atmosféra náboženského prenasledovania a nedôvery. Všeobecná mienka medzi veriacimi bola, že zo sústreďovacích kláštorov prepúšťajú iba tých, ktorí podpíšu vystúpenie z rehole. „A práve preto, keď som ja prišiel,“ poznamenáva páter Zavarský, „každý sa domnieval, že som aj ja podpísal vystúpenie z rehole a aj Ohlas štátnej Katolíckej akcie. Nikto mi nepovedal pritom nič, ale videl som, že veriaci sa odo mňa odkláňajú, mal som taký prípad, že ľudia mi ušli aj z omše preč.“ Na to nasledovalo jeho zatknutie v roku 1951 a tvrdé výsluchy, o ktorých vypovedal pred súdom: „Vypovedal som pod nátlakom... Zápisnicu pred ŠtB som podpísal pod nátlakom, mával som halucinácie a v takomto stave mi vyhrážali ešte trojmesačnou temnicou.“  To po takmer desiatich rokoch väzenia ešte zvyšuje silu jeho svedectva, ktoré vydal vo svojich homíliách priťahujúcich najmä akademickú mládež. Je to naozaj svedectvo mučeníka pre vieru.