Jelikož toto dědictví jistě nesplňovalo standardy bydlení pozdně renesančního šlechtice, zahájil Friedrich z Oppersdorfu stavbu renesančního zámku. Jednalo se o čtyřkřídlou stavbu kolem téměř čtvercového nádvoří s patrovým panským křídlem a protějším přízemním hospodářským zázemím. Po smrti Oty z Oppersdorfu (syna Friedricha z Oppersdrofu a Magdalény z Donína, jejichž erby jsou na zámku umístěny nad průchodem do zámeckého parku) roku 1646 se stal do roku 1658 poručníkem jeho nezletilých dětí na Častolovicích František Karel Libštejnský z Kolowrat. Po dosažení zletilosti a bratrově smrti se Častolovic ujal Otův syn Jan Václav, po jehož smrti v roce 1676 byla poručnicí nad panstvím za nezletilé syny určena jeho žena Anna Eleonora rozená z Kolowrat. V roce 1682 si její synové Jan Václav, Jan Josef a Jan Eusebius Rudolf statky po otci rozdělili. Častolovice připadly toho času ještě nezletilému Janu Rudolfovi. O dva roky později padlo rozhodnutí statky prodat. Tak byly Častolovice Janem Václavem a Janem Josefem v zastoupení jejich nezletilého bratra v roce 1684 prodány Tomáši Černínu z Chudenic. Od něj po deseti letech panství kupuje nejvyšší purkrabí pražský Oldřich Adolf Vratislav, říšský hrabě ze Šternberka. Od roku 1694 již Častolovice z držení toho starého českého panského rodu nevyšly. Roku 1701 vytvořil Adolf Vratislav ze svých panství Zásmuky a Častolovice tzv. fideikomis (tedy nedělitelné, nezcizitelné rodinné panství). V roce 1942, poté co se Leopold Sternberg přihlásil společně s dalšími představiteli české šlechty otevřeně k české národnosti, byl zámek zabrán Němci. Po válce se sem rodina Sternbergů vrátila, manželka Leopolda Sternberga Cecilie Reventlow – Criminil zde provedla některé úpravy a opravy, po únorovém převratu roku 1948 se rodina rozhodla emigrovat do USA a na Jamajku. Zámek se stal majetkem státu, v jehož držení zůstal až do roku 1992, kdy byl v rámci restitucí navrácen původním majitelům, tedy rodině Sternbergů. V současnosti je zámek v majetku Franzisky Diany Sternbergové – Phipps.