希望与现实,本地模型的真能用吗

#LLM

前2周,对本地多个模型搭配clinecontinue使用进行了验证,总体效果不能说是不能用,应该说是完全不能用。

心里小失望,或许普通电脑部署的本地模型的上限也就是生成一次性代码了。

使用qwen2.5、llama3等 7b、14b、32b 4bit模型,进行简单的文件编辑任务,如搜索所有JS文件对请求添加异常处理。发现这些模型不能理解、遵循输入的指令,也不能很好的支持function calling。

大量模型,本地运行并不支持tool calling,这个也带来很大的限制,前提如果效果能用。

最近的gemma3模型,官方表示支持function calling,但是ollama、lm studio本地跑起来的均不支持,更糟糕的是目前 >4b 的跑起来就报错,期望官方快点解决。gemma3会不会是目前穷佬的唯一希望?