%%lとか気持ち悪いな
こういうこと?

for /f "skip=1 delims=" %%a in (list3.txt) do for /f "skip=1 delims=" %%b in (list4.txt) do echo %%a,%%b
pause

なんでcallしたり置換したり面倒臭い事してるのか分からん