호남연회, 5월 20일 연회 개최 확정 및 쌍방 소취하