A verőcei Migazzi kastély előtörténetével kapcsolatban kevés hiteles adattal rendelkezünk. Egyes feltételezések szerint az épület alapjául egy római kori őrtorony szolgált, amelynek bizonyos részletei ma is láthatók még a kazánház falába beépítve. A középkorban a torony romjain Hunyadi Mátyás építtet vadászkastélyt, a kastély parkjában pedig fát ültet, ami a mai napig megtalálható az Expressz tábor területén.

1526 után három alkalommal rendeztek országgyűlést a kastély alatti területen, az átkelést pedig egy ideiglenes Duna-híd segítette elő. A híd az épülettel együtt a török korban teljesen elpusztult.

A jelenleg álló kastélyt gróf Migazzi Kristóf olasz származású püspök, később bécsi érsek emeltette 1769-ben, barokk stílusban. Tervezője Izodore Canevale, a híres olasz építész, aki a váci Dóm tervezője is volt. Fél évszázaddal később klasszicista ízlés szerint átalakították.

Híres bérlői közé tartozott Zubovics Fedor huszárkapitány, akiről sok igaz és legendás történet maradt fenn a környéken. Az ő szolgálatában állt Sisa Pista, a börzsönyi betyár. A huszadik században papi otthonként, majd menekültotthonként funkcionált, míg 1954-től máig a váci püspökség kezelésében nyugdíjas és beteg szerzetesnők számára biztosít otthont.