Zamek mieści się przy ul. Klasztornej. Budowla oddzielona jest od miasta głęboką, suchą fosą. Dojście do zamku przeprowadzone jest po grobli. Obiekt jest obecnie siedzibą Kożu­chowskiego Ośrodka Kultury i Sportu „ZAMEK”.

Budynek powstał w miejscu grodu warownego, wzniesionego prawdopodobnie w 1. ćw. XIII wieku. Po roku 1309 Henryk IV postawił zamek murowany, składający się z cylin­drycznej wieży umieszczonej obok bramy wjazdowej oraz budynku mieszkalnego, usytu­owanego w północno-wschodniej części dziedzińca, otoczonego wysokim murem kurty­nowym. Za Henryka VIII, od 1369 roku zamek stał się stałą siedzibą książęcą. W tym cza­sie został powiększony o mieszkalne skrzydło zachodnie i kaplicę, wybudowano budynek bramny. Na przełomie XV i XVI wieku zamkiem zarządzał z Głogowa Jan Olbracht, na­stępnie Zygmunt Stary. Od 1516 roku Kożuchów wraz z okolicznymi wsiami przeszedł w posiadanie Hansa von Rechenberga. Po jego śmierci miastem zarządzali m.in. Hiero­nim Biberstein, Fryderyk II Legnicki, Fabian von Schőneich. Zamek, zniszczony przez po­żar w 1637 roku, pozostawał w ruinie przez prawie pół wieku. Dopiero w 1685 roku zo­stał oddany zakonowi karmelitów, którzy go gruntownie przebudowali. Po kasacie klasz­toru w 1810 roku zamek był użytkowany przez wojsko, następnie przez firmę Schroeter, a od 1896 roku przez gminę staroluterańską. W 1897 roku w miejsce kaplicy wzniesiono kościół. Po II wojnie światowej obiekt był tylko częściowo użytkowany. Od lat 60. XX wie­ku obiekt pełni funkcję społeczno-kulturalną.

Zamek jest budowlą murowaną z kamienia i cegły, dwukondygnacyjną, zamkniętą wysoki­mi dachami krytymi dachówką karpiówką. Elewacje są otynkowane. Zamek założony jest na planie prostokąta z centralnie usytuowanym kwadratowym dziedzińcem z arkadami od północy i południa. Od zachodu dziedziniec zamyka wieża, w górnej części ośmiobocz­na, zamknięta dachem namiotowym (pierwotnie nakryta hełmem). Od strony zachodniej i południowej do głównej bryły budynku przylega trójbocznie zamknięta kaplica, obecnie pełniąca funkcję sali widowiskowej. Najstarsze partie zamku, pochodzące z XIV wieku, za­chowały się w przede wszystkim w piwnicy skrzydła zachodniego. W obecnym kształcie architektura zamku jest barokowa, ukształtowana głównie w czasie adaptacji na potrzeby klasztoru karmelitów, kiedy to w wyniku prac prowadzonych do 1706 roku powstało czte­roskrzydłowe założenie z wirydarzem pośrodku, obniżono wieżę i wprowadzono groblę za­miast drewnianego mostu. Dekoracja elewacji jest bardzo skromna, sprowadza się do ob­ramień otworów okiennych wykonanych w tynku. Jedynym elementem dekoracyjnym jest usytuowany na osi wjazdu, barokowy portal o dekoracji wykonanej w tynku.

W latach 1976-1984 przeprowadzono kompleksowy remont obiektu, adaptując go na dom kultury i bibliotekę. W latach 2009-2015 przeprowadzono  remont dachów oraz prace konserwatorsko- budowlane przy  elewacjach, wymieniono stolarkę okienną i przeprowadzono prace konserwatorskie przy portalu wejścia głównego oraz przy relikcie piętnastowiecznej inskrypcji na elewacji.