O Hospital ou Casa da Misericórdia, A poucos metros da Igreja de Santa Maria do Castelo e após cruzar a Porta dos Anjos, encontramos o Hospital ou casa da Misericórdia, construído a partir  de 1501, cumprindo o desejo da esposa do Rei Dom João II, Dona Leonor de Viseu, fundadora em várias cidades e vilas portuguesas de benfeitorias e confrarias que atendiam os doentes pobres, sob a invocação da Virgem da misericórdia.

A sua instituição em Olivença foi encomendada a Álvaro de Frade, alcaide-mor da vila, as obras de construção deste edifício demorariam várias décadas, sendo realizadas graças à doação que, em 1511, fez o presbítero Fernando Afonso. A Igreja, iniciada em 1548, atingiria o seu estado actual em 1732.


Destaca-se a sua formosa capela do século XVIII, provavelmente uma das mais belas de Portugal, de nave única, com abóbada de berço e coro aos pés. O retábulo-mor com arquitectura em abóbada, arqueado em paredes-mestras é de estilo barroco, bem como outros dois retábulos de madeira de castanheiro, e outro poli cromado, situados em ambos os lados da nave. As paredes da nave estão cobertos de azulejaria portuguesa, com cenas do Antigo e Novo Testamento, datadas do inicio do século XVIII, alusivas às obras de misericórdia.