断る文言にもよるがこれは別にいいんじゃない?
迷惑だ!ではなく丁重にお断りしますってのなら

10人近くいて1人が飲めないというのでも排除するならその店は敬遠されるだろうがそういうことも考えてのことだろうし