Urodzony 7 października 1884r. w Mątwicy w powiecie łomżyńskim. Absolwent Uniwersytetu Jagiellońskiego. 14 lipcu 1913r. uzyskał dyplom doktora wszech nauk medycznych. Po uzyskaniu dyplomu podjął pracę w Szpitalu Powszechnym św. Łazarza w Krakowie. Jako lekarz tego szpitala pracował na różnych oddziałach: chirurgicznym od 29 lipca 1913 r. do 7 października 1914r.; ginekologiczno—położniczym od 1 maja 1916r. do 7 października 1917 r. ; wewnętrznym od 8 października 1917 r. do 14 lipca 1918 r.; skórnym i wenerycznym od 15 lipca 1918 r. do 23 lutego 1919 r.; po czym od 12 maja 1919 r. do 15 stycznia 1920 r. w Szpitalu św. Łazarza pracował do 22 maja 1920 r. W tym czasie został powołany przez Ministerstwo Spraw Wojskowych i Naczelny Komitet do walki z epidemiami na stanowisko kierownika kolumny sanitarnej, która udała się na tereny plebiscytowe na Orawie zwalczać epidemię ospy i tyfusu plamistego. Jego największym sukcesem było zorganizowanie w Suchej Beskidzkiej Szpitala Epidemiologicznego . Dr Józef Żelazny kierował tym szpitalem przez cały okres jego działalności: od 1 lipca 1920 do 28 lutego 1922r . Jego praca była wysoko oceniana przez przełożonych. Dokonał adaptacji budynków i w ciężkich warunkach doprowadził do likwidacji ognisk epidemii w Żywieckim. Za tę działalność odznaczony został Złotym Krzyżem Zasługi.
Od 1 kwietnia 1922 r. do 30 września 1923 r. sprawował funkcję po. Dyrektora Szpitala Powszechnego w Tarnowie. Od 1 października 1923 r. pełnił prowizorycznie funkcję dyrektora Szpitala Powszechnego w Jaśle. Na stanowisko to został zatwierdzony przez Tymczasowy Wydział Samorządowy we Lwowie, w dniu 2 lutego 1925 r. Na stanowisku Dyrektora Szpitala Powszechnego w Jaśle pozostał do 28 lutego 1944 r.. Podczas sprawowania tej funkcji unowocześnił i rozbudował szpital . Przyczyniło się to wydatnie do podniesienia poziomu świadczonych w szpitalu usług. Po rezygnacji Jerzego Lgockiego z funkcji Komisarza Rządowego w Jaśle, Józef Żelazny został powołany w styczniu 1933 r. na stanowisko Komisarza Rządowego. Pod koniec roku 1933 został przez Radę miasta wybrany burmistrzem Jasła. Jako burmistrz miasta Jasła był członkiem Rady Szkolnej Miejscowej.
