В Елагином дворце гостили не только члены императорской семьи. В 1907 году дворец стал своеобразным убежищем для выдающегося государственного деятеля, Председателя Совета министров, министра внутренних дел Российской империи Петра Аркадьевича Столыпина (1862-1911гг.). В апреле 1906 года Николай II назначил его министром внутренних дел. Это было время разгула террора, захватившего Россию. Двое предшественников Столыпина на этом посту Д.С.Сипягин и В.К.Плеве были убиты. На Столыпина, убежденного сторонника сильной государственной власти, за короткий промежуток времени с 1905 по 1911 годы было совершено одиннадцать покушений. Самым кровавым стал взрыв 12(25) августа 1906 года на казенной даче на Аптекарском острове в Санкт-Петербурге, где он проживал с семьей. В этот день на даче было много посетителей, пришедших на прием. От взрыва бомбы, разрушившего полдома, пострадали десятки людей. В числе раненых оказались и дети Столыпина - трехлетний сын Аркадий и шестнадцатилетняя дочь Наталья, которая навсегда осталась инвалидом. Сам Столыпин, находившийся в своем кабинете, не пострадал. В период Первой русской революции (1905-1907гг.) чиновников высокого ранга от бомб террористов прятали в Зимнем дворце. Петр Аркадьевич с семьей поселился в Зимнем дворце в комнатах так называемой Второй запасной половины, под круглосуточной охраной. Строгая конспирация и невозможность свободного передвижения удручающе действовали на Столыпина. Особенно тяжело он переносил невозможность прогулок, необходимых ему для моциона. Гулять можно было только по крыше и залам дворца. Террористы не прекращали попыток покушения и каждый день, выходя из дома, Столыпин мысленно прощался с семьей.
Предложение Николая II о переезде на лето в пустующий Елагин дворец было принято с радостью. Изолированность Елагина острова позволяла соблюсти все условия для охраны. Кроме Столыпина с семьей, на остров на летнее время переехали товарищ министра по должности министра внутренних дел, директор канцелярии, сама канцелярия и некоторые должностные лица. Премьер-министр с семьей поселился в Елагином дворце. На первом этаже для него были устроены кабинет, приемная и гостиная, на втором этаже находились жилые комнаты. Всем остальным чиновникам были выделены для жилища Наследницкий и Великокняжеский флигели, а также квартиры смотрителя дворца, старшего садовника и паспортиста. Район Собственного сада, прилегающих корпусов, берега Средней и Большой Невки со стороны воды обнесли колючей проволокой. Охрана осуществлялась силами общей, речной, дворцовой полиции и Собственного Его Императорского Величества сводного полка. Посты охраны находились по берегам Средней и Большой Невки, северных прудов и у каждого корпуса. Во дворце и вокруг него насчитывалось шесть постов полиции. В ночное время дежурили отряды конной полиции и казаков. Помимо дворцовой охраны и наружной полиции, наблюдение осуществляли агенты тайной полиции, так как остров оставался открытым для публики. Сохранились воспоминания о жизни и распорядке дня Петра Аркадьевича на острове: «В начале дня Столыпин выпивал стакан кофе, выходил в кабинет и знакомился с экстренными делами, давал поручения подчиненным, просматривал русские и иностранные газеты, включая вырезки из всех газет, составляемых канцелярией по всем отделам. Затем выслушивал доклады высших чинов министерства внутренних дел, а также членов Государственной думы и Государственного совета, желавших лично переговорить с министром. В час дня у Петра Аркадьевича был завтрак в кругу семьи и приближенных чиновников. После завтрака, до четырех часов дня, Столыпин работал в кабинете, а с четырех до семи проводил прием лиц, вызванных повестками или явившихся по личному делу. В семь вечера премьер обедал в кругу семьи, после чего вел заседания совета министров или чинов министерства внутренних дел, которые продолжались до часу ночи. Последние два-три часа рабочего дня Столыпин вновь проводил в кабинете».
О жизни на Елагином острове подробные воспоминания оставила и дочь Столыпина Мария Бок: «Можно себе представить, каким наслаждением было переселиться туда после жизни в Зимнем дворце! …Как-то поразительно скоро обжились мы на новом месте... и взрослые и дети - все были в восторге. Папа мог несколько раз в день между занятиями выходить в сад подышать свежим воздухом, а мы все время проводили вне дома... Весь Елагин остров представлял собою огромный парк с массою больших и малых аллей. Особенно красив был дворец и сад в теплую летнюю ночь, ярко освещенный сильными электрическими фонарями… Были на реке в нашем распоряжении катера и лодки, на которых мы часто предпринимали прогулки».
Несмотря на загруженный рабочий день, П.А.Столыпин находил время бывать с семьей, устраивать на Елагином воскресные шумные обеды с друзьями и родственниками, «что создавало совсем помещичью атмосферу». Во дворце отмечались дни рождения и именины, ставились спектакли, написанные младшей дочерью Столыпина Наташей. Во дворце же было объявлено о помолвке старшей дочери Марии с офицером императорской яхты «Нева», лейтенантом Б.И. Боком. Здесь же были сделаны самые известные фотографии ателье К. Буллы. Именно на этих фотографиях Столыпин предстает зрителям нежным мужем и отцом. На острове П.А. Столыпин с семьей и подчиненными провел еще три лета — с 1908 по 1911 годы. В августе 1911 года он последний раз посетил Елагин дворец. А уже 1 сентября в Киеве в присутствии императорской семьи он был смертельно ранен.
После смерти П.А. Столыпина новый министр внутренних дел А.А. Макаров просил высочайшего соизволения проживать с семьей и министерством в Елагином дворце. Ему было отказано и предложено занимать какие угодно корпуса, кроме дворца. Этот факт очень ярко демонстрирует отношение императорского двора к личности Петра Аркадьевича Столыпина.