Pałac znajduje się w ramach zespołu pałacowo-parkowego w północno-wschodniej części miejscowości, na południe od zespołu folwarcznego. Budowla sąsiaduje z założeniem par­ku krajobrazowego, a po stronie zachodniej ze stawem wiejskim, tzw. Stawem Piaskowym. W ramach powojennej adaptacji zespołu na ośrodek pomocy społecznej, pałac rozbudowa­no i wzniesiono w jego sąsiedztwie zabudowania związane z nową funkcją obiektu.

Wieś posiada średniowieczną genezę i została po raz pierwszy wymieniona w dokumencie z 1295 roku regulującym granice dóbr chwarszczańskich templariuszy. W 1337 roku we­dług księgi ziemskiej margrabiego Ludwika wieś liczyła 64 łany ziemi i znajdowały się tu­taj trzy działy rycerskie oraz kościół parafialny. W 1486 roku Kamień Wielki należał do rodziny von Schönebeck, dzierżącej również pobliski Dąbroszyn. Rodzina ta pozostawała w posiadaniu tutejszych dóbr ziemskich do początku XVIII wieku. Najstarsza wzmianka o siedzibie szlacheckiej w Kamieniu Wielkim pochodzi z roku 1608. Miejscowość należa­ła wówczas do dwóch rodzin szlacheckich. W trakcie działań wojny trzydziestoletniej wieś została w znacznym stopniu zniszczona i opuszczona. W 1658 roku, zapewne z inicjatywy von Schönebecków, założono tutaj młyn papierniczy. W 1660 roku część dóbr ziemskich znalazła się w posiadaniu Hansa Heinricha von Schlabrendorfa, generała majora, komen­danta twierdzy w Kołobrzegu. W tutejszym kościele, do 1945 roku, znajdowała się jego ka­mienna płyta nagrobna oraz poświęcone mu drewniane epitafium. Inna część miejscowo­ści była w rękach marszałka polnego Hansa Adama von Schöninga z Dąbroszyna, a po jego śmierci stanowiła uposażenie wdowy Johanne Margarethe von Pölnitz. Następnym wła­ścicielem był syn marszałka Johann Ludwig von Schöning, który zmarł w 1713 roku. Po tej dacie Kamień Wielki stał się uposażeniem wdowim Julianne Charlotte von Dönhoff. W połowie XVIII i na początku XIX wieku tutejszymi dobrami ziemskimi władali Wre­echowie i Dönhoffowie z Dąbroszyna. W 1822 roku właścicielką Kamienia Wielkiego zo­stała Amelie hrabina von Dönhoff, a następnie dobra stały się własnością jej męża Anto­na barona von Stolberg-Wernigerode. Z jego to najprawdopodobniej inicjatywy wybudo­wano w latach 20. XIX wieku klasycystyczny pałac, a następnie w 1834 roku założono ze­spół parkowy według projektu znanego berlińskiego architekta krajobrazu Josepha Lenne. W 1924 roku majątek ziemski został zakupiony i rozparcelowany przez Towarzystwo Ziemskie „Eigene Scholle” (własna ziemia) z Frankfurtu nad Odrą.

Po 1945 roku dobra ziemskie zostały znacjonalizowane. Początkowo zespół pałacowo-par­kowy należał do Państwowych Nieruchomości Ziemskich. W 1962 roku zespół wydzielo­no i przeznaczono na cele domu pomocy społecznej. Obecnie znajduje się tutaj Dom Po­mocy Społecznej dla Dorosłych.

Pałac wzniesiony został w latach 20. XIX wieku w stylu klasycystycznym. Budowla po­wstała z inicjatywy właściciela tutejszych dóbr ziemskich. Obiekt zlokalizowany jest na osi wschód-zachód i założony został na planie prostokątnym. Jest to budowla murowana z kamienia i cegły, o tynkowanych elewacjach. Budowla jest podpiwniczona, prostopadło­ścienna, dwukondygnacyjna, nakryta dachem mansardowym z facjatą. W miejscu dzisiej­szej rezydencji znajdował się wcześniej dwór szlachecki, z którego zachowały się sklepione kolebkowo piwnice z lunetami, datowane na XVII i XVIII wiek. Obecnie do wschodniej elewacji przylega parterowe, powojenne skrzydło, natomiast do elewacji zachodniej doda­ny został budynek zawierający windę z przeszklonym szybem. Elewacja frontowa – pół­nocna została ukształtowana jako siedmioosiowa z wejściem pośrodku, poprzedzonym ak­tualnie dodaną dobudówką. Elewacja tylna jest dziewięcioosiowa, z ozdobnym wejściem w polu ryzalitu. Na detal architektoniczny elewacji składa się boniowanie, fryz złożony z kolistych plakietek i płycin oraz gzyms koronujący. Elewacje boczne są aktualnie – w wy­niku powojennej przebudowy i rozbudowy – nieczytelne. Pierwotny układ wnętrza uległ niemal całkowitemu zatarciu w związku z powojennymi remontami i adaptacjami. Do dnia dzisiejszego wewnątrz budowli nie zachowały się jakiekolwiek elementy historyczne­go wystroju i wyposażenia wnętrz. Nie zachowała się również stolarka okienna i drzwio­wa.

W okresie powojennym pierwsze roboty budowlane przy pałacu przeprowadzono w latach 1965-1971. Wewnątrz wykonano nowy układ pomieszczeń, dostosowując je do nowych funkcji. W dwóch pomieszczeniach piwnicznych wykonano kaplicę. Kolejnym etapem prac (lata 1987-1992) była rozbudowa pałacu o parterowe skrzydło po stronie wschodniej. W latach 1993-1994 przeprowadzono kompleksowy remont wnętrza oraz rekonstrukcję elewacji w oparciu o przekazy ikonograficzne, zarazem przełożono połacie dachowe da­chówką karpiówką, a po stronie zachodniej dodano budynek mieszczący windę.

W latach 90. XX wieku w obrębie parku prowadzono prace porządkowe oraz uczytelniono układ przestrzenny. W 1995 roku Ośrodek Ochrony Zabytkowego Krajobrazu w Warsza­wie opracował projekt rewaloryzacji parku, jednak zaplanowanych wówczas prac nie pod­jęto do dnia dzisiejszego ze względu na brak środków finansowych. Źródło: "Zamki, dwory i pałace województwa lubuskiego"