Johann Krahuletz wurde in Eggenburg, Kremserstrasse 2, am 3. November 1848 als siebentes von neun Kindern des Büchsenmachers Georg Krahuletz und seiner Frau Anna geboren. Der Gutsherr und Schlossbesitzer von Stockern, Candid Ponz, Reichsritter von Engelshofen, schätzte die gute handwerkliche Arbeit und war Kunde des Büchsenmachers. Das Hobby von Engelshofen war es, erd- und urgeschichtliche Objekte zu sammeln, welche beim Ackern der Felder an die Oberfläche kamen.

Georg Krahuletz suchte mit seinen Söhnen Anton und Johann die Äcker um Eggenburg ab und belieferte Candid Ponz von Engelshofen mit seinen Fundstücken. So kam der junge Johann Krahuletz schon in frühester Kindheit in Berührung mit diesen „Altertümern“. Bald suchte er in seiner Freizeit nur mehr nach steinzeitlichen Werkzeugen, Tonscherben und Versteinerungen, die er Engelshofen für wenig Geld übergab. Johann Krahuletz lernte aber auch durch ihn namhafte Wissenschafter der Wiener Universität wie Eduard Sueß und Matthäus Much kennen, welchen er nun ebenfalls Funde überließ und mit denen er nach dem Tod Engelshofens an der Cholera (1866) gemeinsam sammelte. Daneben hatte er – nach dem Willen des Vaters – das Handwerk des Büchsenmachers erlernt.

Die Sammeltätigkeit verstärkte sich, ein erstes vorrangiges Ziel war der Vitusberg nahe Eggenburg. Der Bau der Franz-Josefs-Bahn 1867–69 mit seinen Erdbewegungen brachte reichhaltige Schätze der Erdgeschichte ans Tageslicht. Die hier tätigen Wissenschafter der Wiener Universität, denen sich Krahuletz anschloss, ermutigten ihn, seine Forschungen ernsthaft weiter zu betreiben. Sie dominierten bald sein Leben.

1877 begann Johann Krahuletz eine eigene Sammlung anzulegen, wie er Dr. Matthäus Much in einem Schreiben mitteilte.

Die soziale Anerkennung blieb ihm in seiner Heimat zu dieser Zeit noch versagt. Er galt als Sonderling, da er sein erlerntes Handwerk nicht ausübte und vorerst auch sonst keinem Beruf nachging. Um seinen Unterhalt zu verdienen wurde er Eichmeister in Eggenburg, was ihn nur zweimal in der Woche beschäftigte. Seine Zeit verbrachte er mit Aufsuchen, Sammeln und Forschen.

Ihm gelangen einige wissenschaftlich überaus bedeutende Funde: der Schädel eines gavialartigen Krokodils und das Skelett einer Seekuh. Diese Arten waren bis dahin unbekannt und erhielten ihren wissenschaftlichen Namen nach dem Fundort Eggenburg und nach Krahuletz. Daneben sammelte er auch Gegenstände, die zu dieser Zeit als „altes Gerümpel“ galten und legte so den Grundstein zu einer umfassenden Volkskundesammlung. Sein kleines Geburts- und Elternhaus war bald zum Bersten gefüllt.

Krahuletz wurde nun in seiner Heimatstadt zunehmend geschätzt. Er war sehr gesellig und Mitglied in vielen Vereinen, unter anderem bei der Feuerwehr, deren Bezirkskommandant er sogar war, beim Bürgerkorps Eggenburg, beim Verschönerungs- und Gesangsverein.

Um den vorübergehend drohenden Verkauf der Sammlung ins Ausland abzuwenden, verpflichtete sich die Stadt zur Zahlung einer Leibrente. Die Stadt Eggenburg erhielt dafür seine Sammlung, musste aber ein Museum einrichten. (siehe Die Krahuletz-Gesellschaft und das Museum) Johann Krahuletz betrieb seine Forschungsarbeit weiter bis zu seinem Tod.

Kaiser Franz Joseph I. ehrte Krahuletz mit dem Goldenen Verdienstkreuz mit der Krone sowie später Kaiser Karl mit dem Titel „Kaiserlicher Rat“. In Eggenburg und in anderen Gemeinden wurde er Ehrenbürger, in Wissenschaftsvereinen Ehrenmitglied. Bundespräsident Dr. Michael Hainisch besuchte 1924 das Museum und verlieh Johann Krahuletz den Titel eines „Professors der Geologie“, ein Titel, der seitdem nie mehr vergeben wurde.

Johann Krahuletz starb in seinem Geburts- und Wohnhaus am 11. Dezember 1928.