Quartel de Cavalaria, a situação fronteiriça de Olivença e o sistema de defesas fortificadas, obrigava à permanência de um importante número de tropas no interior da vila, o que fez com que tivessem sido construídas diversas instalações militares destinadas a albergar regimentos de cavalaria, infantaria e artilharia.

O famoso Regimento de Dragões de Olivença, estabeleceu o seu quartel no Quartel de Cavalaria. Construído no século XVIII, junto do Baluarte do Príncipe, é um magnifico edifício de estilo neo-clássico, onde se destacam as suas numerosas janelas com cantaria de mármore e as escadas de acesso ao andar superior.

Janelas simétricas debruadas em mármore harmonizam uma extensa fachada onde predomina a horizontalidade. Diante desta construção está o Quartel de São Carlos, que era armazém do de cavalaria.