Kanuni Süleyman'ın gençlik arkadaşı ve ilk sadrazamı, Rum'dan dönme İbrahim Paşa'nın sarayı, Hipodrom'la Adliye Sarayı arasında kalan bloktadır. İbrahim, tahta geçen arkadaşı Süleyman'ın kızkardeşiyle de evlenerek devlet içinde çok güçlü bir yere gelmişti. Sarayı da nüfuzunun göstergesidir.
Bir hikâyeye göre Kanuni'den sonra İbrahim de çocuklarının sünnet düğününü yaptırmış. Düğün baştan sona görülmedik bir debdebe içinde geçmiş. Sonunda Uludağ'dan getirilme buzdan yapılmış kaplara konmuş hoşaf ikram edilmiş. Bu aşamada Kanuni, bu düğünün kendininkinden de görkemli olduğunu söyleyince Paşa "Elbette, öyle" demiş ve devam etmiş; "Sizinkinde şeref misafiri bendim, benimkinde sizsiniz. Elbette daha muhteşem olacak."
Ama bu aristokratik incelikler İbrahim'i Osmanlı devletinin pek çok parlak sadrazamının akıbetinden kurtarmaya yetmedi. Hürrem Sultan'ın etkisiyle Süleyman bir sabah eski arkadaşını boğdurdu, geniş servetine de devlet el koydu. Saray bir zaman Acemi Oğlan kışlası olarak kullanıldı. Yavaş yavaş harap oldu. Yirmi yıl kadar önce başlayan restorasyon yakınlarda tamamlandı ve bina Türk İslam Eserleri Müzesi olarak açıldı. İçinde sergilenen eserler arasında çok ilginç ve değerli olanları var. Ayrıca güzel ve sakin iç avlusuyla da görmeye, bir kahve içimi oturmaya değer bir yer. Uzun Osmanlı tarihi boyunca, hanedan dışından birinin sahip olduğu saray denebilecek tek konut burasıdır.