そうしたことを踏まえてパラメーター設定して
1920*1080の適当なソースでKNLMeansCLを動かしてfpsどんだけ出てるか見たけど、

core.knlm.KNLMeansCL(clip, d=0, a=2, s=2, h=1, channels="Y")
⇒約87fps

core.knlm.KNLMeansCL(clip, d=1, a=2, s=2, h=1, channels="Y")
⇒約22.7fps

まあそんなもんじゃね？