Był członkiem Sanhedrynu, najwyższej władzy żydowskiej w zakresie spraw państwowych, prawnych i religijnych.
Według Ewangelistów Mateusza i Jana Józef był uczniem Jezusa.
Nie zgodził się z decyzją Sanhedrynu skazującą Chrystusa na śmierć.
Po ukrzyżowaniu poprosił Poncjusza Piłata o wydanie ciała Jezusa i uczestniczył w zdjęciu Go z krzyża oraz w pogrzebie.
Mówi o. Stanisław Tasiemski, dominikanin.
Płótno, w którym Józef złożył do grobu ciało Jezusa, według tradycji, zachowało się do naszych dni. Jest nim słynny Całun Turyński.
Według jednej z legend Józef z Arymatei razem z Łazarzem, Martą i Marią, uciekając przed prześladowaniami, dopłynęli statkiem do Marsylii, gdzie głosili Dobrą Nowinę o Jezusie. Inna opowieść ukazuje Józefa w Hiszpanii, dokąd udał się razem ze św. Jakubem Apostołem, który ustanowił go tam biskupem.
W ikonografii św. Józef występuje przeważnie wraz ze św. Nikodemem w scenach zdjęcia z krzyża, złożenia do grobu i opłakiwania Jezusa.