Границы квартала определились еще в первой четверти XVIII века. Они имели форму неправильной трапеции, образованной линиями набережных Невы и Фонтанки и улиц Сергиевской и Гагаринской. Последняя повторила название находившейся здесь Гагаринской пристани. В петровское время восточнее пристани вдоль Невы располагались постоялые дворы, а юго-восточную часть квартала занимал дворцовый Запасной двор с различными складами, прудами и «гаванцем». В середине XVIII века «гаванец» засыпали и построили ряд флигелей для дворцовых служителей и прачечных императорского двора. Места сгоревших постоялых дворов оставались свободными.

После открытия сквозного проезда вдоль Невы от Зимнего дворца к Литейному двору, сооружения гранитных набережных (1763–1768) и постройки Прачечного моста через Фонтанку (1766–1769) эта часть города получила новый импульс для своего развития. Гагаринская набережная и улица превратились в престижный жилой район. В 1770-е годы территория здесь уже была разбита на участки, где начали строить дома.

По плану6 квартала второй половины XVIII века дом на углу набережной Невы и Гагаринской улицы принадлежал «Его превосходительству Ивану Ивановичу Меллеру». Его соседом по набережной числился граф Фери, далее шли участки придворного карла Титова, придворного камердинера Медведева, профессора и депутата Девиера, гвардии капитана Саблукова и генерал-инженера Мордвинова. По Гагаринской улице владельцем интересующего нас участка был князь С. Трубецкой, далее размещался двор «архитектурии помощника Нилуса».

Участки Мордвинова и Саблукова купил генерал-инженер Ф. Баур, а построенный им в 1781–1784 годах дом продал в Дворцовое ведомство. «Баурский» дом сохранился и является памятником архитектуры.

В списки памятников истории и культуры включен также бывший дом камердинера Медведева, построенный в конце XVIII века, в котором жил М. И. Кутузов (современный адрес – набережная Кутузова, 30). Все остальные дома квартала состоят на учете в Управлении государственной инспекции по охране памятников.

В начале XIX века первые два дома по Гагаринской улице принадлежали соответственно графу П. К. Разумовскому и купцу Д. Образцову. О постройках на участке дают представление атласы Санкт-Петербурга 1798 и 1806 года. Каменный двухэтажный Г-образный в плане дом Образцова располагался по красной линии улицы. Справа от него находился одноэтажный хозяйственный флигель, вытянутый в глубину участка.

В 1820-е–30-е годы в этом доме находилось прусское посольство. Дом был расширен со стороны двора, на участке появился еще ряд флигелей. Затем участок приобрел граф А. Г. Кушелев-Безбородко, внучатый племянник светлейшего князя А. А. Безбородко, известного государственного деятеля времен Екатерины II (угловой дом был им куплен еще в середине 1820-х годов).

Сохранился относящийся к началу 1840-х годов проект архитектора Мартынова, по которому на обоих участках делались новые пристройки и пробивались двери на главном фасаде интересующего нас дома. На чертеже видно, как выглядел дом до его перестройки Шмидтом.