Eine Volkssage erzählt, dass dem Urheber des Baues der Kirche am Kumitzberg, Pfarrer Balthasar Marinz aus Mitterndorf, bei einem Ritt zum Pfarrer nach Aussee - beim Kumitzberg angekommen - das Pferd in die Knie stürzte und ihn abwarf, worauf er das Gelübde tat, am Kumitzberg eine Kapelle zu Ehren der schmerzhaften Mutter Gottes zu bauen.

Im Jahr 1717 traf der vom Leiden des göttlichen Heilands und seiner schmerzhaften Mutter Maria tief durchdrungene Pfarrer von Mitterndorf nähere Anstalten zur Verwirklichung seines schon bei seinem Amtsantritt (Pfarrübernahme) vor vier Jahren gefassten Planes. Nur zu gerne hätte er auch in seinem Pfarrbezirk einen Kalvarienberg gesehen, zumal solche in anderen Orten und Gegenden bereits anzutreffen waren. Da ihm der Obersdorf krönende Hügel, Kumitz genannt, wegen seiner natürlichen Anlage vorzüglich geeignet erschien, unternahm er in Obersdorf und Aussee eine Sammlung. 

Diese Sammlung fiel so ergiebig aus, dass noch im gleichen Jahr die Geheimnisbilder des leidenden Heilands über den Kumitzberg hinauf in verschiedenen Abteilungen aufgestellt werden konnten und außerdem noch die Errichtung einer kleinen, gemauerten Kapelle möglich war. Zum Schutz der Wallfahrer gegen die Witterung wurde die Kapelle mit zu hölzernen Wänden zusammengefügten Brettern vermacht. 

Wenige Jahrzehnte später war die Meßkapelle auf dem Kumitzberg für die zahlreichen Besucher bereits viel zu klein und so wurde schon 1766 der Grundstein zu der jetzt noch bestehenden barocken Wallfahrtskirche gelegt.

1776 wurde der Weg zur Kirche mit steinernen Stufen ausgelegt und so bequem gemacht. Dem Schutz des Hl. Florians empfohlen, wurde die zweite Glocke in den Kirchenturm aufgezogen. Ihr Guß erfolgte von Johann Hammerschmied in Leoben. Die Weihe der Glocke nahm seine Hochwürden und Gnaden Johann Prälat zu Seckau im Muhrboden vor. 
Einer anderen Volkssage zufolge soll die Zügen- (Sterbe-) Glocke unter einem Stein im Pötschenwaldl bei Mitterndorf gefunden worden sein.