渡部建、明石家さんまと食事しない理由