Natten mellem 29. og 30. marts 1808 udbrød den brand, der på to dage lagde slottet øde.
Danmark havde søgt at holde sig udenfor det store europæiske opgør, Napoleonskrigene, men 1807 overfaldt englænderne København og bortførte den danske flåde. Den danske regering søgte ind i en alliance med Frankrig, hvis kejser Napoleon 1. sendte en hærenhed på 30.000 franske og spanske soldater til Danmark under kommando af marskal Jean Baptiste Bernadotte, senere kong Karl 14. Johan af Sverige. Formålet var dels at fastholde danmark i alliancen, dels at bistå med et felttog mod Sverige for at genvinde de tabte østdanske provinser Skåne, Halland og Blekinge til Danmark. Felttoget mislykkedes. De spanske soldater kom ikke længere end til Jylland og Fyn, hvorfra de i august måned efter et kup sejledes hjem til Spanien på engelske skibe for at deltage i et oprør mod den franske besættelse af Spanien.
Den 29. marts, medens marskal Bernadotte opholdt sig på slottet, udbrød der brand i skorstenen til vagtstuens kamin, og inden man helt blev klar over situationens alvor, havde ilden så godt fat, at den ikke lod sig bekæmpe med held. Man indskrænkede sig til at redde mest muligt af slottets indbo. Der gik ingen menneskeliv tabt ved katastrofebranden. På brandens anden dag styrtede en del af Kæmpetårnet ned og knuste slotskirken nedenunder. Koldinghus blev efterladt som en sodsværtet ruin.
I foråret 1808 var Danmark endnu i krig. København var bombarderet, landets økonomi var i en elendig forfatning. Ved freden i 1814 måtte Norge afstås til Sverige.
Der var ingen, der for alvor tænkte at bygge Koldinghus op igen. Der var ikke brug for slottet, da amtmanden allerede for år tilbage var flyttet fra Kolding. Kun den lokale befolkning brugte slottet – som stenbrud.
