Die erstmals 1136 genannte, ursprünglich wehrhafte Burg wurde im Laufe der Jahrhunderte zu einem prächtigen Barockschloss ausgebaut. Das Schloss überstand 1619 eine Belagerung durch ungarisch-polnische Truppen, später eine Inbrandsetzung durch böhmische Rebellen und erlebte das Aufwachsen des späteren Kardinal Leopold Graf Kollonitsch, der sich in Folge 1683 bei der Wiener Türkenbelagerung große Verdienste erwarb. Die Glanzzeit des Hauses lag in der Zeit ab 1836, als der französische Hofminister Herzog Pierre de Blacas d ́Aulps das Schloss samt Waldungen, Tierpark und Teichwirtschaft als königliche Bourbonen-Sommerresidenz ausstattete und es dem emigrierten Bourbonenkönig Karl X., der schon ab 1833 mehrmals Jagdgast der Schlossherren von Kirchberg war, zur Verfügung stellte. Kirchberg entwickelte sich in diesen Monaten zum Wallfahrtsort für französische Monarchisten und war durch Audienzen, Jagdausflüge, Soireen und Spaziergänge des französischen und österreichischen Adels geprägt. Im Oktober verliess Karl X. Kirchberg Richtung Görz, wo er im November 1836 verstarb. Herzog Stanislaus de Blacas d ́Aulps verkaufte das Schloss 1869 an den Industriellen Anton Fischer Ritter von Ankern. Heute ist die Schlossanlage der Unternehmssitz der Fischer-Ankern'schen Guts- und Forstverwaltung.