Urodził się 1 września 1835 roku w Wilnie. Jego ojciec, profesor matematyki na uniwersytecie, nadał mu imię Józef. Ukończył z wyróżnieniem Instytut Szlachecki i wyjechał na studia do Instytutu Agronomicznego. Po dwóch latach zrezygnował i przeniósł się na północ, do szkoły inżynierii wojskowej w Petersburgu. Nad Newą Józef Kalinowski uzyskał tytuł inżyniera. Wybrał karierę wojskową: awansował do stopnia porucznika.

Obdarzony cechami przywódczymi miał autorytet u tych, którymi kierował. Został adiunktem matematyki i mechaniki budowlanej, w 1859 roku zaczął pracować przy budowie kolei Odessa–Kijów–Kursk, a później przy rozbudowie twierdzy Brześć. Gdy dopadł go kryzys związany z wiarą (przez dekadę nie przystępował do sakramentów), odpowiedzi szukał w dziełach filozofów. W przededniu wybuchu powstania styczniowego podał się do dymisji, by swą wiedzę wojskową wykorzystać w walce z carskim zaborcą. Jako członek Rządu Narodowego został ministrem wojny w rejonie rodzinnego Wilna. Ze względu na problemy zdrowotne musiał zrezygnować z wojska. I wówczas wpadły mu w ręce „Wyznania” św. Augustyna. Odnajdywał się w zapiskach tego erudyty i hulaki, który po latach upadków z całą stanowczością notował: „Jakże straszne były te stopnie, po których zstępowałem w głębiny piekła, trawiony gorączką, rozpaczą, że nie znam prawdy”. W czasie powstania pisał do brata: „Nie krwi, której do zbytku przelało się na niwach Polski, ale potu ona potrzebuje”. Został aresztowany w Wilnie 24 marca 1864 roku. Wyrok? Kara śmierci.

„Ponieważ Kalinowski nieustannie dodawał więźniom otuchy, z obawy przed uznaniem go za niezłomnego męczennika, by rozbić tworzącą się legendę, władze zmieniły wyrok na dziesięcioletnią katorgę. Na Syberię zabrał jedynie krzyż, Ewangelię i książeczkę »O naśladowaniu Chrystusa«”. I tu pocieszał towarzyszy, którzy w syberyjskim piekle słyszeli od niego o nadziei. „Jestem gotowy do zniesienia wszelkich przeciwności” – pisał. „Mam skarb wewnętrzny, którego nikt nie jest w stanie mi odebrać. Modlitwę uważać mogę jako jedyny mój datek: większych jednak skarbów nie miałem nigdy i nie chcę więcej”.

Nad Wisłę powrócił w 1874 roku. Przez trzy lata pracował jako wychowawca księcia Augusta Czartoryskiego, a jako 42-latek zapukał do klasztoru karmelitów w Grazu. Zmienił imię na Rafał od św. Józefa. Święcenia kapłańskie otrzymał 15 stycznia 1882 roku w Czernej (niebawem został na dziewięć lat przeorem tego ślicznego klasztoru). Do jego konfesjonału ustawiały się długie kolejki. Przeszedł do historii jako zafascynowany Janem od Krzyża odnowiciel polskiego Karmelu.

Zmarł 15 listopada 1907 roku w opinii świętości, jego relikwie spoczęły w ukrytym w lasach klasztorze w Czernej. Jan Paweł II beatyfikował go w 1983 roku, a po dziewięciu latach papież pochodzący z miasta, w którym umierał karmelita, ogłosił go świętym.