Ollama加载gguf模型
创始人
2024-11-14 20:05:20
0

1 下载gguf模型

在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。

如 Qwen/Qwen2-0.5B-Instruct-GGUF

2 创建模型信息文件

文件格式没要求, 用简单的txt文件就行

比如建立一个my_model.txt文件, 写入以下内容:

FROM your_path/qwen2-0_5b-instruct-q2_k.gguf 

3 加载模型使用

ollama create my_model -f my_model.txt 

然后就可以愉快地使用了:

ollama run   my_model 

注意: 如果出现了Error: invalid file magic的错误, 大概率是这个gguf文件中的某些操作ollama还不支持, 如有些特殊的量化操作等。

相关内容

热门资讯

微信炸金花房卡链接购买/牛牛房... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受...
微信打炸金花链接房卡怎么买/牛... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享...
微信炸金花好友房卡怎么买/微信... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享...
创建斗牛链接房间房卡/欢乐游大... 斗牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受更...
微信斗牛购买房卡方法/新猴王大... 斗牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享受...
微信炸金花好友房卡怎么买/微信... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享...
微信链接炸金花房卡怎么买/新蓝... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受...
微信群炸金花房卡怎么买/茄子娱... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享...
微信斗牛房卡找谁买/牛魔王大厅... 斗牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享受...
炸金花房卡如何充值/白虎大厅金... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受...
微信炸金花好友房卡怎么买/微信... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享...
炸金花怎么买房卡/斗牛房卡从哪... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享...
牛牛房间找谁买房卡/新蜜瓜大厅... 牛牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受更...
拼三张正规房卡总代理/新天道大... 拼三张是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享...
微信链接炸金花房卡怎么买/微信... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享...
创建炸金花微信链接房卡/微信牛... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受...
微信上链接炸金花房卡/神皇大厅... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享...
微信玩链接炸金花房卡/新九天大... 炸金花是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:55051770许多玩家在游戏中会购买房卡来享...
微信里面拼三张链接房卡/乐酷大... 拼三张是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:8488009许多玩家在游戏中会购买房卡来享受...
微信链接牛牛房卡怎样买/新海贝... 牛牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:33903369许多玩家在游戏中会购买房卡来享受...