Яков Вилимович Брюс был военным, учёным, интересовался математикой, астрономией и физикой. Он руководил русской артиллерией во время Северной войны, участвовал в битвах при Лесной и Полтаве, и в переговорах, завершившихся Ништадтским миром в 1721 году. После отставки он жил в усадьбе, занимался науками, проводил опыты, и был известен в народе как «колдун» и «чернокнижник». Его имя связано с Сухаревой башней, где он проводил астрономические наблюдения. Его библиотека и «кабинет редкостей» стали частью Академии наук.