김호중, 전 여친 폭력 주장에 난감…“일일이 대응하지 않겠다”