Начала строиться одновременно с закладкой Вознесенской церкви в 1794-1795. Завершена к 1824 году.
В строительстве принимал участие архитектор М. П. Малахов, первоначальный автор проекта - Томмазо Адамини (1764-1828), приехавший в Россию в 1796 году и работавший под руководством Дж. Кваренги. В середине XIX века при усадьбе разбит сад.
Первоначально земельным участком владел губернский секретарь С. А. Исаков. В 1794 он приступил к строительству каменного дома, но в 1795 умер. Купец Лев Иванович Расторгуев "недвижимое имение" приобрел у вдовы С. А. Исакова (купчая от 18 декабря 1798 года).
К 1814 году Расторгуев воздвиг два дома, в том числе один флигель "глаголем" в два этажа с бельведером и оранжерею. В 1820 в усадьбе были встроены еще два флигеля по улице Вознесенской и т. н. "внутренний" флигель во дворе.
В 1823 году усадьба отошла к П. Я. Харитонову - зятю Расторгуева - и стала быстро расширяться, Харитонов скупил прилегающие участки и на 9 гектарах разбил "английский сад" с парковыми сооружениями.
По другим данным, после 1808 года пустырь был примежеван к дому Расторгуевых. После 1824 года флигели были соединены одноэтажными переходами. К 1836 году выполнены украшения фасадов. Легенды сообщают о подвалах, где томились мятежники с заводов, о целой сети подземелий, расходящихся от дома во все стороны.
После высылки в 1837 году Харитонова, по указу Императора, в Кексгольм, за зверское обращение с рабочими, усадьба опустела, затем некоторые помещения сдавались под квартиры и конторы.
В годы революции здесь размещался отряд Красной гвардии, работал Урало-Сибирский коммунистический университет. В ноябре-декабре 1917 года в здании дворца проходили заседания первого областного съезда Социалистического союза рабочей молодежи Урала, в честь этого события площадь перед дворцом названа Комсомольской.
В 1924 в парке перед входом во дворец произошел провал и открылся тоннель. В 1960-е годы, при очистке пруда, открылось отверстие с ходом на 20 м в склоне северо-западного берега. Эти события подтвердили легенды о подземных ходах под усадьбой.
В 1935-1937 здание было капитально отремонтировано и передано Дворцу пионеров и школьников (ныне Дворец детского и юношеского творчества).
Летом 2000 усадьбу попытались передать для резиденции полномочного представителя Президента РФ в УрФО П. М. Латышева (президент Путин 28 июля 2000 подписал соответствующий Указ), однако под давлением общественности (прежде всего родительского комитета Дворца творчества), усадьба передана не была.
В рамках данных разбирательств уральский политик Антон Баков подал на Путина в суд. В книге 2016 года "Демократия по-русски" Баков пишет: "Я даже судился с Владимиром Путиным (на что не многие в России решились бы) за Дворец творчества учащихся, так называемый Дворец Пионеров.
Это одно из наиболее презентабельных зданий в Екатеринбурге, где в кружках занимались сотни школьников. И именно его президент в 2000 году решил отдать во владение своему тогдашнему полпреду Петру Латышеву для размещения в нем представительства президента.
Я действовал сугубо по закону: я записал в один из кружков свою дочь, взял справку о том, что она член кружка, а потом как законный представитель несовершеннолетней девочки обратился в Верховный суд с просьбой отменить соответствующий пункт решения президента.
Мне ответили, что поскольку указ опубликован в сборнике нормативных актов, то вопрос не подлежит рассмотрению в Верховном суде. Тогда я направился в Конституционный суд, где мы с представителем президента достигли соглашения: дворец остался у детей, а полпредство начало строительство помпезного здания в другом месте - на берегу Исети".
