そりゃ自分が話してるのに全員俯いてたらどこ見ていいかわからないし嫌でしょ
メモは書記に任せて残りは顔上げて相槌うちながら聞くのが基本だと思う
キーワードになりそうなことぐらいはサッとメモしてもいいと思うけど