Инициатор строительства – Лев Иванович Расторгуев, купец второй гильдии. Усадьбу возводили не «с нуля», а на основе недостроенного имения, которое было приобретено купцом незадолго до начала работ за 2 тыс. руб. Строительство первого здания датируется 1794-1799 гг.
Усадьба Расторгуева-Харитонова сохранилась до наших дней почти в первозданном виде. Исключение разве что составляет внутреннее убранство помещений: в ходе многочисленных переделок интерьер претерпел значительные изменения. Но внешне усадьба изменилась совсем незначительно.