Зградата која се наоѓа на ексклузивна локација во центарот на Токио била напуштена за време на мандатите на претходните премиери Јошихиде Суга и Шинзо Абе.
Во 1936 година е направен обид за државен удар, кога млади офицери на јапонската царска армија убија неколку високи функционери, меѓу кои и тогашниот министер за финансии. Оттогаш кружат приказни дека духовите на некои од инволвираните во обидот за пуч шетаат низ ходниците на резиденцијата.
Кишида, кој ја преспал првата ноќ во таа резиденција, рекол дека станал одморен и свеж.