这个红框这里
MATLAB中“...”用作换行,在"..."后面的本行内容都会被注释。所以你的代码相当于少写了“]”。正确:
num=[a0,a1,...an-1,an ]; den=[b0,b1,...bn-1,bn ];