Zarówno cudowny obraz, jak i kaplica, w której się mieści, oraz sama Ostra Brama mają bogatą historię, ściśle wiążącą się z historią rozbudowy Wilna.
Na przełomie XV i XVI w. postanowiono otoczyć miasto murem obronnym. Powstało dziewięć bram miejskich, z których jedna (jedyna zachowana do naszych czasów) zaczęła być nazywana Ostrą.
Zgodnie z tradycją na bramach obronnych zawieszano święte obrazy. Ostra Brama po obu jej stronach również miała własne obrazy. Jednym z nich był wizerunek Matki Bożej. Z czasem miejsce to stało się miejscem modlitwy do Maryi.
Mówi o. Stanisław Tasiemski, dominikanin.
W 1993 roku w kaplicy w Ostrej Bramie modlił się św. Jan Paweł II. Ofiarował wtedy Matce Bożej Miłosierdzia złotą różę.
Ostra Brama wiąże się również w istotny sposób z kultem Miłosierdzia Bożego. Obraz Miłosierdzia Bożego został namalowany w Wilnie i wystawiony publicznie właśnie w Ostrej Bramie. Tu też św. Faustyna miała wizję triumfu obrazu Miłosierdzia Bożego.