유재명, 윤세아에게 의미심장한 발언 '당신이 그 때 오지 말았어야 했어'