En effet, depuis 1812, le couvent des Jacobins est réquisitionnée pour servir de caserne d'artillerie sur ordre de l'Empereur. La grande nef de l'église est divisée par des planchers : le rez-de-chaussée fait office d'écurie, au 1er étage se trouvent le dortoir et au 2e étage un grenier, où est stocké l'avoine pour les chevaux.

Le sort du couvent n'est pas plus brillant, si ce n'est pire : les galeries du cloître sont en parties détruites, le réfectoire sert de manège pour les chevaux, la chapelle Saint-Antonin est quant à elle transformée en infirmerie vétérinaire. Le vandalisme se poursuit : en 1841, les chapelles latérales et les réseaux de pierre des ouvertures sont détruits.

Il faut attendre 1865 pour que les militaires quittent le couvent. La Ville récupère alors son bien. L'église est rendue au culte en 1873 et le reste des bâtiments accueille les élèves du lycée Fermat.