안녕하세요..어떻게 하는게 현명한 선택인지 조언부탁합니다.

저희 집은 세대수가 적은 아파트입니다.
세대수가 적어 서로 가족끼리도 잘알고 아이들도 자주 어울리는 편입니다..

그런데 문제는 같은 아파트에 사는 아저씨가 가끔 전화도 하고
할 이야기가 있다고 한번씩 만나자고 합니다.
언젠가 꼭 해야할 이야기가 있다고 잠깐만 보자고 전화가 왔더군요..그래서 저는 이핑계 저핑계를 대고 안나가려구 했지만.
몇번씩이나 전화도 하고 사무실앞에 차를 세워놓고 기다린대서 안볼수가 없었지요..글구 만나보면 중요하지도 않은 이야기만 합니다.

아는처지라 말하기도 어렵구 괜히 내가 과민반응이 아닌가 싶은 생각이 들어서 그냥 지내왔습니다.
그리구 아파트에서 마주치면 서로 인사만하고 지내는데..

어제 저녁에는 남편과 같이 술한잔을 하고 있는데..
핸드폰으로 전화를 했더군요,,

"지금어딥니까?"
밖인데요

"남편이랑 같이 있습니까?
같이 있습니다.

"그럼 전화하면 안되겠네요?"
그러구 끊었습니다..

남편이 애인이냐구..남편이랑 같이 있다구 했냐구 묻더라구요

남편이랑도 잘 아는 사이라 그 아저씨가 전화했다구 말할수 없어서 아무것도 아니라고 이야기 했습니다.
알면 서로 껄끄러울테고 그렇다고 노골적으로 그러는 것도 아니고.. 그 아저씨가 업무적인 일로 저희 사무실에 가끔 들러는데..

오늘도 일때문에 들렀더라구요..껄끄럽고 거부감생겨서 자리를 피해버렸지만 같은 아파트에 살면서 안 볼수도 없구..그렇다구 그 아저씨 와이프한테 이야기 하기도 그렇고..
남편한데 말하기도 그렇네요..

어떻게 해야 할까요?
고민되고 어렵네요