Die Familie von Schlitz war ein altes und begütertes Adelsgeschlecht. Es stammte aus Hessen und wurde erstmals 1116 urkundlich erwähnt. Der Burgherr hieß ursprünglich Hans Freiherr von Labes und war Gutsherr von Karstorf, einer ebenfalls in der mecklenburgischen Schweiz gelegenen Ortschaft.
Dieser Hans von Labes heiratete die Tochter des Reichsgrafen Johann Eustach von Schlitz, genannt von Görtz (1737 - 1821). Der hatte keinen männlichen Erben und adoptierte deswegen den Schwiegersohn. Darüber hinaus setzte er durch, dass der König von Preußen den Schwiegersohn in den Grafenstand erhob. So wurde aus Hans Freiherr von Labes Hans Graf von Schlitz. Die Hochzeit mehrte sein Ansehen und brachte ihm einen erheblichen Vermögenszuwachs. Insgesamt 99 verschiedene Güter konnte er nun sein eigen nennen.
Dies blieb auch dem Preußenkönig nicht verborgen. Es galt damals ein Gesetz, dass derjenige, der 100 oder mehr Güter besaß, für den König ein Regiment von Soldaten zur Verfügung stellen und unterhalten musste. Also heckte der König einen hinterhältigen Plan aus. Er beschloss, dem Grafen Schlitz zum Geburtstag ein kleines Landgut, das hundertste in seiner Sammlung, zu schenken.
Als der König beim Grafen zur Gratulation erschien und ihm sein Geschenk offenbarte, reagierte dieser überaus erfreut und dankbar. „Das trifft sich gut" sagte er zum König „denn erst vor wenigen Tagen habe ich zwei meiner Güter verkaufen müssen".
Hans Graf von Schlitz wusste nicht nur geschickt zu heiraten, sondern übertraf auch seinen König an Schlitzohrigkeit.