In 1584 werd de oude St. Pancratiuskerk bij het kasteel, tegenwoordig de Nederlands Hervormde Kerk, overgenomen door de protestanten. De katholieken moesten zich behelpen met eerst schuilkerken en later schuurkerken, omdat ze hun geloof niet in het openbaar mochten belijden.
