El fortí de l'Oliva va ser assetjat el 3 de maig de 1811 (la ciutat va quedar aïllada per terra el dia 4) i destruït el 29 del mateix mes. Al càrrec de la defensa van estar els coronels José M. Gómez (en un altre moment es parla d'un sergent major, ignorem si serà el mateix) i Tadeu Aldea.
Era alcalde durant el lloc Joseph Torres i de Ferrer. Luis González Torres, Marquès de Campoverde, General de l'Exèrcit des de gener de 1811, era el màxim responsable militar de la salvaguarda del territori entre febrer i juliol de 1811, i alçat al poder de forma poc ortodoxa, aprofitant la campanya de desprestigi contra O'Donnell. La seva despreocupació, un cop la defensa va començar a flaquejar, va fer que abandonés la ciutat el 31 de maig en companyia del general Sarsfield, amb el pretext d'anar a reunir un exèrcit que mai va arribar, per atacar per la rereguarda. Els anglesos, encallats al port, no van arribar a desembarcar. La seva ajuda es va reduir al foc d'artilleria. El mariscal de camp (general) Juan Senén de Contreras, ferit en el baluard de St. Magí i, fet presoner, conduït a Constantí, va ser el responsable de la defensa de la ciutat, després de la marxa de Campoverde.
Tarragona va ser l'única ciutat de l'Estat que no va capitular. El 18 juny 1810 s'havia format un cos de milícies urbanes. Van aportar uns dos mil milicians. Per a la defensa de la ciutat es comptava amb una mica més de 6.000 homes, sota les ordres del governador D. Juan Caro. Campoverde va arribar al principi de 1811 amb l'exèrcit derrotat en Figueres el 3 de gener: s'aconsegueix un total de 10.000 defensors.
El mariscal Macdonald, que manava l'exèrcit de Catalunya, no havia intentat ja l'expugnació de Tarragona per les gaires dificultats. No obstant això, el general Luis Gabriel Suchet, que manava 40.000 (25.000) homes, dels que va perdre 10.000, va començar a dur a terme els preparatius indispensables per a la conquesta de Tarragona, davant els murs de la qual es va presentar el 3 de maig.
La defensa consistia en els forts destacats de Sant Jeroni, la Cruz, Plaça d'Armes, Sant Jordi i la Reina a l'Est; i els més avançats de l'Oliva, que era el de major importància, al Nord; i els de Loreto i Ermitans al NE. Defensava el raval, situat al costat del port, una altra línia de fortificacions que partia del baluard de Sant Pau fins al fortí de Francolí, al costat del mar, a la desembocadura del riu, i, dins aquest recinte, el fortí Reial (actualment, la plaça de braus) petit quadrilàter fortificat col·locat darrere el baluard d'Orleans, amb dominació sobre el camp. La major part de les obres, especialment les del raval, eren de construcció bastant defectuosa, lleugera i poc sòlida; algunes estaven sense acabar, altres no tenien fossat i totes mancaven de resguards i blindatges a prova.
El dia 4 es va apoderar la brigada Salme dels atrinxeraments més avançats de l'Oliva, si bé amb pèrdua de prop de 200 homes. A més a més, com per a l'objecte indicat era convenient, encara que no indispensable, prendre el fortí de l'Oliva, des del qual podien els assetjats caure molt fàcilment sobre l'esquerra a la matinada del 14 el general Salme va envestir a la baioneta amb 2.000 homes de tropes triades els llocs fortificats que a 300 metres de l'Oliva tenien els tarragonins en dues petites altures, defensant-los amb valor el coronel D. Tadeu Aldea, fins que va haver d'abandonar-los, oprimit.
Va destacar el comportament de l'heroïna Rosa Venes de Lloberas, segons Jordi Morant i Clanxet. Havia donat el seu patrimoni per a la causa. L'historiador del lloc, el coronel d'artilleria D. Javier de Salas, diu que era coneguda per "la Rossa". Toreno, en la seva Història de l'alçament, guerra i revolució d'Espanya, li dóna el nom de "Calesera de la Rambla". Es tractarà de la mateixa persona? El cas és que Tarragona va disposar de la seva particular Agustina d'Aragó, que, havent-se unit a la tropa, animava a tots amb l'exemple, batent-se amb notable valor.
Segons distintes fonts, les baixes en 56 dies de lloc van ser: 8.200 (6300) presoners, 8.650 (5450) ferits, 10.900 morts (5700), embarcats (450), ofegats en embarcar-se (300), dispersos (1800).
El setge de l'Oliva es va dur a terme a les nou de la nit del 27 de maig. El 28 van trencar el foc d'artilleria. El fortí no estava conclòs ni perfeccionades les seves obres. En moltes parts romania el soldat al descobert. La seva construcció era feble.
La presa del fortí semblava de ficció, gairebé un conte de nens. El Regiment d'Iliberia (Ibèria) havia de ser rellevat pel regiment Almeria al vespre del dia 29. Protegits per la foscor, es compta, els francesos es van barrejar en l'avantguarda del regiment Almeria i van complir amb el sant i senya, a l'ordre del “qui viu?”. “Almeria, que ve a rellevar a Iliberia (Ibèria)”, conta Fr. Bruno Casals.
Se li va donar entrada lliure pel rastell i porta principal del fortí. Es perden 20 peces d'artilleria, abundant munició i 2.000 homes. La guarnició, morta o presonera (excepte alguns oficials i soldats que van poder escapar saltant els fossats). Era tan increïble la manera com es va prendre el fortí, que al que va arribar a la Plaça amb la notícia se'l va ficar al calabós.
Quan es va confirmar, es van dirigir cap al fortí tots els focs a les 11 de la nit, fins a destrossar-lo. La seva pèrdua va significar una ferida mortal per a la ciutat de Tarragona. Es perdia el flanc nord, inclòs el tossal situat a 123 m. d'altura.
La presa de Tarragona va ser ultimada, un mes més tard (28-6-11) amb un dret a sac de 3 dies: “el que es digui no és tot el que va ser i el que va ser mai no podrà expressar-se”, diu Bruno Casals. Després d'aquestes fatídiques 72 hores, van venir 2 anys i 51 dies de sotmetiment. S'havien gastat des del principi de la guerra 30 milions de rals. El comportament heroic dels defensors de Girona i el tràgic final dels assetjats a Tarragona, on unes 6.000 persones van morir durant el saqueig de la ciutat per les tropes franceses, va convertir la pèrdua d'ambdues places en un fet traumàtic però va evitar l'exigència de responsabilitats als encarregats directes de la seva defensa.