Kres świetności Sandomierza nastąpił jednak podczas "potopu" szwedzkiego. Szwedzi zajęli miasto 13 X 1655 roku. Wycofując się wysadzili w powietrze zamek. Miasto uległo znacznemu zniszczeniu, dopełnieniem którego był także najazd Rakoczego i zaraza. Zła sytuacja ekonomiczna kraju i zubożenie mieszczaństwa wpłynęły wówczas na trudności w odbudowie miasta ze zniszczeń.

Wielki pożar w 1757 roku i wreszcie rozbiór Polski w 1772 roku - w wyniku którego Sandomierz stał się miastem pogranicznym - przekreśliły jego znaczenie administracyjne i spowodowały zastój gospodarczy. Po I rozbiorze Polski Sandomierz stał się miastem pogranicznym, zaś w wyniku III rozbioru przyłączony został do zaboru austriackiego. Wówczas to już ostatecznie Sandomierz utracił swe administracyjne funkcje na rzecz Radomia.

Uwiecznione przez Stefana Żeromskiego w "Popiołach" ciężkie walki polsko-austriackie, stoczone w 1809 roku o Sandomierz, spowodowały dalsze zniszczenia miasta. Po 1815 roku Sandomierz - jako miasto obwodowe - znalazł się w granicach Królestwa Polskiego. Liczba ludności miasta wynosiła w tym czasie 2640 osób, ale od tej pory stale już wzrastała. W 1818 roku pozycja Sandomierza została nieco odbudowana poprzez utworzenie w tym mieście na mocy bulli papieża Piusa VII "Ex imposita nobis", czyli stolicy diecezji.

Największych zmian dokonano w zamku w 1825 roku, przebudowując go na więzienie. W 1857 roku nastąpiła pierwsza z głośnych później katastrof budowlanych. W pobliżu Bramy Zawichojskiej zapadł się przeszło stumetrowy odcinek murów obronnych wraz z przyległymi budynkami. Od tego czasu coraz częściej pojawiają się w aktach miejskich wzmianki o zapadaniu się podziemnych chodników i o związanych z tym pracach zabezpieczajacych.