In alter Zeit türmten sich die Felsmassen des Taurasteins viel höher aufeinander als heute. Auch gab es zahlreiche Höhlen, von denen sich eine ein Riese als Aufenthaltsort auserkoren hatte. Dieser Unhold erschien zuweilen dem nächtlichen Wanderer und jagte ihm Furcht und Grauen ein.

Einmal fiel es dem Riesen ein, sich eine Burg zu bauen. Als Bauplatz wählte er sich einen stillen Abschnitt des Chemnitzflusses bei dem Ort Schweizerthal. Allnächtlich schleppte der Dämon nun schwere Steinblöcke vom Taurastein dorthin und gedachte, Stein auf Stein die neue Burg zu errichten. Sein Weg führte ihn dabei über die Tauraer Wiesen, die Flurgrenze zwischen Mohsdorf und Taura entlang. Da er jedoch immer mehr Steine nahm, als er tragen konnte, verlor er auf seinem Weg stets einige Brocken.

Aber auch mit dem Bau der Burg wollte es nicht so recht vorangehen. Stürzte doch tagsüber immer wieder zusammen, was er in der Nacht errichtet hatte. Zwar mühte sich der Riese eine ganze Zeit mit dem Bau ab. Aber schließlich verlor er die Geduld und ließ die Steine liegen. Sie füllen noch heute das Flussbett und liegen verstreut an den Talhängen. Das Werk des Riesen aber war vereitelt, und er zog sich voller Ingrimm in seine Höhle auf dem Taurastein zurück. Wenn aber in alten Zeiten der Sturmwind in den Winternächten um die Häuser tobte, dann rückten die geängstigten Bewohner näher zusammen. Zu den Kindern aber sagten sie: "Hört, der Taurasteinmann geht um!" Manche meinen aber auch, dass es der Teufel selbst gewesen sei, der sich hier eine Burg bauen wollte. Deshalb bezeichnet der Volksmund auch die Vertiefung in einem bei der früheren Holzbrücke in Schweizerthal befindlichen Stein als Teufelsfuß. Soll doch hier der Teufel wieder aufgekommen sein, wenn er mit den Felsbrocken vom Taurastein abgesprungen ist.