대통령실, 이상민 경질설 말 아껴…“尹 동행, 주무부처 외 이유 없다”