表达式无效。调用函数或对变量进行索引时，请使用圆括号。否则，请检查不匹配的分隔符。这个错误

p1 = p0 - lambda * f(p0) / f'(p0)    %救救孩子吧
while (abs(f(p1)) >= abs(f(p0)) & lambda > e)
    lambda = lambda/2
    p1 = p0 - lambda * f(p0) / f'(p0)
    if abs(p1 - p0) < tol
        break
    end
    p0 = p1
end

end
disp(p1)

转置请放在p0后面或者f(p0)后面

p0'

或者

f(p0)'

但是细看你的代码，不是用'表示转置而是表示求导【牛顿法】，matlab还没那么智能，可以写以写一撇（'）就求导了。
所以，你先要搞清楚怎么求导，f的表达式都没给出来，请给出。