Ollama加载gguf模型_电脑知识

创始人

2024-11-14 20:05:20

在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。

如 Qwen/Qwen2-0.5B-Instruct-GGUF

文件格式没要求，用简单的txt文件就行

比如建立一个my_model.txt文件，写入以下内容：

FROM your_path/qwen2-0_5b-instruct-q2_k.gguf

ollama create my_model -f my_model.txt

然后就可以愉快地使用了：

ollama run   my_model

注意：如果出现了Error: invalid file magic的错误，大概率是这个gguf文件中的某些操作ollama还不支持，如有些特殊的量化操作等。

裸辞做“一人公司”，我后悔了去年这个时候，一位以色列程序员正在东南亚旅行。他顺手把一个在脑子里转了很久的想法做成了产品，一个让任...

南京建成国内首个Pre-6G试... 4月21日，2026全球6G技术与产业生态大会在南京开幕。全息互动技术展台前，一名远在北京的工作人员...

超梵求职受邀参加“2025抖音... 超梵求职受邀参加“2025抖音巨量引擎成人教育行业生态大会”，探讨分享优质内容传播，服务万千学员。 ...

摩托罗拉Razr 2026（R... IT之家 4 月 22 日消息，摩托罗拉宣布新一代 Razr 折叠手机将于 4 月 29 日在美国发...

库克卸任，特纳斯领航：苹果新纪... 苹果首席执行官蒂姆·库克将卸任，硬件工程主管约翰·特纳斯将接任，苹果公司今天宣布此事。库克将在夏季...