貴族問題の他の人の回答見てもよくわからないんだけど、誰か教えて

王様は「諸君は他人の従者のことはよく知っている」と言っていて、
各貴族は「王様は嘘をつかない」と考えている。
もし、上の記述が正しく、40人の従者がすべて悪人だとしたら、
各貴族は初めから最低39人の従者が悪人だと知ってることになるのに、
なんで、悪い従者が1人の場合から考えているの？