人間が理解可能＝機械学習良く分からない人にも人間の言語で説明できる、という意味ならそれは必須ではないし、必須とするなら機械学習の適用範囲を自ら制限することになる
モデルの良さを客観的な数学的指標に基づいて検証している(その数学的意味を理解できない人には意味不明)、という意味なら当然必須だろう