После кончины Н.А.Дурасова, не имевшего прямых наследников, усадьба переходит к его родной сестре Аграфене Алексеевне (умерла в 1835 году), затем ее дочери - Агрефене Михайловне Писаревой (умерла в 1877 году), которая продала поместье московскому богачу Н.П.Воейкову (1789-1868 годы). Вскоре имение перекупил известный купец 1-й гильдии К.Н.Голофтеев (1822-1896 годы), семья которого владела усадьбой вплоть до 1917 года.
В ХХ веке усадьба претерпела много изменений. Сразу после Октябрьской революции во дворце была устроена школа. Затем ее сменил клуб железнодорожников имени III Интернационала. В 1925 году Люблино стал самостоятельным городом, во дворце находилось отделение милиции, остальные городские учреждения также занимали бывшие усадебные постройки и некоторые конфискованные дачи. Парк использовался как городской сад, в нем был установлен громкоговоритель, и по праздничным дням играла музыка.
После Великой Отечественной войны 1941-1945 годов дворец был частично отремонтирован для Института океанологии АН СССР, который в 1990-х годах был выведен из дворца и в настоящее время расположен в одном лабораторном корпусе, построенном вблизи.
К концу столетия здание пришло в упадок, поэтому в 2001-2003 годах провели его научную реставрацию, и сегодня посетители могут увидеть дворец во всем великолепии: таким, каким он был 200 лет назад.