据日媒报道，高市早苗在社交平台X上发文回顾2025年时提到自己在刚入住的公邸过年，并称“还没遇到传说的‘鬼怪’”。此前，日本众议院预算委员会要求高市尽快从议会宿舍搬到首相公邸，但她当时表示自己连打包行李的时间都没有。最终，高市趁着年假，带着50箱行李搬入了首相公邸。
这座修建于上世纪20年代末的首相公邸曾是30年代日本陆军军官两次发动政变的地点。前首相森喜朗曾透露他在公邸夜间听到门把转动声和穿着军靴的队伍行军远去的脚步声。小泉纯一郎任内还据说偷偷找来了法师“驱魔”。
据统计，小泉纯一郎、福田康夫、麻生太郎、鸠山由纪夫、菅直人及野田佳彦等历任首相都曾在任内入住公邸，但安倍晋三从未入住，并表示对闹鬼传闻不知情。卸任的石破茂在入住前曾幽默表示，身为看“Q太郎”长大的一代“不太害怕”。“Q太郎”是漫画家藤子不二雄创作的漫画《小鬼Q太郎》的主人公。
在日本的政治中心东京永田町地区，有一个坊间流传的说法：首相搬进公邸，意味着其任期很快就会结束。曾住公邸的7位首相中，除了小泉纯一郎，其他6位首相都只任职了1年左右就被迫下台。