当前位置: 首页 > news >正文

第三方微信网站建设南阳网站网站建设

第三方微信网站建设,南阳网站网站建设,青岛团购网站建设,网站邮箱配置在使用ollama配置本地模型时,只支持gguf格式的模型,所以我们首先需要把自己的模型转化为bin格式,本文为paddle,onnx,pytorch格式的模型提供说明,safetensors格式比较简单请参考官方文档,或其它教…

在使用ollama配置本地模型时,只支持gguf格式的模型,所以我们首先需要把自己的模型转化为bin格式,本文为paddle,onnx,pytorch格式的模型提供说明,safetensors格式比较简单请参考官方文档,或其它教程。

1.paddle2onnx
paddle需要在训练结束后将模型保存为onnx格式。具体代码略

2.onnx2bin

import onnx
import onnxruntime
import onnx2fst
# 加载 ONNX 模型
model = onnx.load("E:\\nlp\PaddleNLP-develop\examples\dialogue\dgu\model\intent\intent0704\model.onnx")
# 保存为二进制文件
onnx.save_model(model, "pytorch_model.bin")

现在我们获得了bin模型文件,接下来可以将其转化为gguf文件。
首先进入llamacpp官网并下载
ggerganov/llama.cpp: LLM inference in C/C++ (github.com)
可以看到有很多文件,其中这两个是我们要用的。
在这里插入图片描述

第一步
vim convert-hf-to-gguf-update.py
现在可能改名字了,改成你的名字即可。
第二步
找到models这个列表,初始的时候列表中有很多值,在其中添加我们的模型,格式如图所示,其余的可以删掉不影响结果。
保存之后执行
python convert-hf-to-gguf-update.py
中括号里的hf token换成自己的,可以在hugging face个人主页中申请一个。
在这里插入图片描述

第三步
python convert-hf-to-gguf.py /root/… --outfile /root…/model.gguf
即可转化为gguf格式
说明
如果出现报错,说明update更新失败。
在这里插入图片描述
根据报错信息在convert-hf-to-gguf.py文件中手动添加
在这里插入图片描述

之后重新运行,即可成功转化。

http://www.lakalapos1.cn/news/265/

相关文章:

  • vancl网站贵阳金阳网站建设公司
  • 快速搭建网站vue深圳网站建设公司制作定制
  • dede免费网站模板护卫神做的网站访问
  • 深圳精品网站制作网络调查问卷怎么制作
  • 官方网站建设哪儿有江西省住房建设厅统计网站
  • 做团购网站有什么难处做网站用小公司还是大公司
  • 公司网站建设的北京营销型网站建设哪家好
  • 可以做超链接或锚文本的网站有哪些上海市干部公示
  • 双通网络网站建设免费推广网站教程
  • 商务网站建设与维护 试题代运营公司收费
  • 微信公众号做电影网站网站制作都有哪些
  • 网站制作销售术语平面设计在家接单收入
  • 山东省建设职业教育集团网站外贸网站有哪些
  • 免费网站站长查询网站网上商城建设
  • 房地产网站模板 下载国外一个专门做配乐的网站
  • wordpress 哪些网站中国企业500强营业收入
  • 个人网站备案备注怎么写怎么制作手机app及网站
  • 拍卖网站模板2021近期时事新闻热点事件简短
  • 二学一做专题网站电商网站源代码
  • 南京自助建站模板动画设计招聘信息
  • 云南省做网站开发的公司排名今天出入济南最新通知
  • 2017年最新网站设计风格滨海专业做网站
  • 深圳网站设计师培训学校开源项目管理系统
  • 雷神代刷推广网站宝塔备份wordpress
  • 六安哪家做网站不错学生网页设计主题
  • 做系统简单还是网站简单专门做网站的app
  • 网站建设服务器软件学校网站群建设思路
  • 建站管理域名管理绑定外部域名中邯郸一堆网络科技
  • 网站建设有什么工作临潼城市建设局网站
  • 潍坊尚呈网站建设公司湘乡网站建设