Am Ende des 14. Jhds. wurde die heutige Schlossanlage als ,,Dragoschken“ erstmals urkundlich erwähnt. Der Name dürfte auf die slawische Bezeichnung für eine Geländeerhebung zurückgehen. Der älteste Teil des Baues wurde im 15. und 16. Jhd. von der Gewerkenfamilie Khünburger zur Blütezeit des Edelmetallbergbaues errichtet.
1692 erwarb der Gewerke Hans Adam Stampfer von Walchenberg die Schlossanlage. Er hatte sein Radwerk (Verhüttungsanlage) in Vordernberg (Steiermark) aufgegeben, um im Mölltal einen Kupferbergbau zu betreiben. Er und seine Söhne Hans Josef und Franz Adam erweiterten ihren Wohnsitz zu einem repräsentativen Barockbau, der zum Mittelpunkt eines schöngeistigen Kreises wurde.
Der vornehme, dreigeschossige Baukörper besitzt ein Säulenportal mit dem Wappen der ehemaligen Schlossbesitzer. Das monumentale Deckengemälde im großen Saal des zweiten Obergeschosses, welches einen antiken Götterhimmel und Menschen bei der Arbeit zeigt, wurde 1716 von Josef Ferdinand Fromiller, dem berühmten Kärntner Barockmaler, geschaffen. Im Stiegenhaus befinden sich innerhalb von Stuckfeldern Gemälde des Tiroler Barockmalers Anton Zoller. In Privatbesitz