当前位置: 首页 > news >正文

免费的wordpress能用吗浙江短视频seo优化网站

免费的wordpress能用吗,浙江短视频seo优化网站,pandorabox做网站,辽宁建设工程信息网查一 模型下载 二 模型推理 本文基于Chinese-LLaMA-Alpaca-2项目代码介绍,使用原生的llama2-hf 克隆好了Chinese-LLaMA-Alpaca-2 项目之后,基于GPU的部署非常简单。下载完成以后的模型参数(Hugging Face 格式)如下: 简单说明一下各个文件的作…

一 模型下载

二 模型推理

本文基于Chinese-LLaMA-Alpaca-2项目代码介绍,使用原生的llama2-hf

克隆好了Chinese-LLaMA-Alpaca-2 项目之后,基于GPU的部署非常简单。下载完成以后的模型参数(Hugging Face 格式)如下:

简单说明一下各个文件的作用

文件名称示例说明
config.json{
"architectures": [
"LlamaForCausalLM"
],
"hidden_size": 4096,
...
"vocab_size": 55296
}
hugging face Transformer的配置文件 文档路径在
https://huggingface.co/docs/transformers/main/main_classes/configuration
generation_config.json{
"_from_model_config": true,
"bos_token_id": 1,
"eos_token_id": 2,
"pad_token_id": 0,
"transformers_version": "4.31.0"
}
这个主要是为了generation方法提供参数
https://huggingface.co/docs/transformers/main_classes/text_generation
pytorch_model.bin.index.json{
"metadata": {
"total_size": 13858521088
},
"weight_map": {
...
}

}
包含一些元数据以及一个参数名映射表,包含权重指示信息
pytorch_model-*.bin标准的Pytorch state dicts,它们各自包含模型的一部分
special_tokens_map.json{
...
"pad_token": "",
"unk_token": {
"content": "",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
}
}
映射文件,里面包含 unknown token 等特殊字符的映射关系;
tokenizer_config.json{
"add_bos_token": true,
...
"unk_token": {
"__type": "AddedToken",
"content": "",
"lstrip": false,
"normalized": true,
"rstrip": false,
"single_word": false
},
"use_fast": false
}
分词器配置文件,存储构建分词器需要的参数
tokenizer.model标记器(Tokenizer):将文本转换为模型可以处理的数据。模型只能处理数字,因此标记器(Tokenizer)需要将我们的文本输入转换为数字数据。

模型推理 Chinese-LLaMA-Alpaca-2 提供了一些使用脚本,可以很方便的体验模型推理的过程 教程

aiofiles==23.1.0
fastapi==0.95.2
gradio_client==0.2.5
gradio==3.33.1accelerate==0.22.*
colorama
datasets
einops
markdown
numpy==1.24
optimum==1.12.0
pandas
peft==0.5.*
transformers==4.33.1
Pillow>=9.5.0
pyyaml
requests
safetensors==0.3.2
scipy
sentencepiece==0.1.99
tensorboard
tqdm
wandb# bitsandbytes
bitsandbytes==0.41.1

启动运行环境(使用docker):

 docker run -it -v `pwd`:/home/work --gpus 1 pytorch:2.0.1-transformers /bin/bash

python scripts/inference/inference_hf.py --base_mode /home/work/llama2/ --with_prompt --interactive

可以看出原生的LLAMA2模型对中文支持不好,回答的答案基本都是英文

三、搭建text-generation-webui

text-generation-webui是github上的一个开源项目,也是目前运行开源模型最广泛使用的软件之一。如果你之前用过第一代LLama,应该对这个项目比较熟悉。

text-generation-webui的安装方式相当简单,同样需要从github上克隆项目:https://github.com/oobabooga/text-generation-webui。克隆完成后,我们把刚才转换好的huggingface格式的模型文件夹整个放入models中,目录结构如下:

我们将刚才生成好huggingface格式的模型文件夹整个放入models中,文件结构如下图:

如果这一步做完了,模型部署这块就大功告成啦。现在我们运行text-generation-webui就可以和llama2模型对话了,具体的命令如下:

python server.py --api --listen --model /home/work/text-generation-webui-main/models/llama-2-7b/

四、使用模型

现在,LLama2模型已经搭建好了,怎么样把它分享给你的朋友或同事使用呢?

我们用YourChat来完成这个工作。YourChat是一个聊天客户端,它支持text_generation_webui的API,适配了Android、iOS、Windows和MacOS,以下我们以Windows版本为例,当然其他平台也大同小异。 下载地址:https://yourchat.app/download

在上一步,我们在启动text_generation_webui的时候添加了一个--api参数,这就让text_generation_webui支持了API调用。如果你想要使用YourChat,那这个API功能就必须要打开。

首先,让我们把刚刚搭建的text_generation_webui添加到YourChat的服务里面。如果是第一次使用YourChat,它会弹出一个新手教程。如果text-generation-webui参数没有动过,那就按照教程的指引,填入服务的IP地址就可以了。

如果之前已经下载过YourChat,那就在YourChat的"服务"界面,点击右下角的"+"按钮,添加一个新的服务。在"名称"栏中,输入你的服务名称,比如模型名字"llama-2-7b"。在"Host"栏中,填写你的模型服务器的地址,例如"192.168.1.100"。

然后点击右上角的保存按钮,你的Llama2模型就成功地被添加到了YourChat中,你现在可以开始和LLama2进行聊天了。

LLama 2干货部署教程+模型分发 - 知乎 (zhihu.com)

从0开始微调LLama2系列 (2) : 运行一下llama2 - 知乎 (zhihu.com)

http://www.hrbkazy.com/news/11436.html

相关文章:

  • 网站企业建设水果网络营销推广方案
  • 网站的滚动字幕怎么做营销成功的案例
  • 只有一个域名怎么做网站媒介
  • 悦诗风吟网站建设策划书线上营销推广方式
  • 天安节能科技园公司做网站搜索优化软件
  • wordpress 修改数据库表抖音搜索seo
  • 重庆网站建设哪家好百度推广优化方案
  • 网站怎么做熊掌号百度网站管理员工具
  • HTMT超链接网站怎么做小红书seo关键词优化多少钱
  • 物流公司排名seo创业
  • 苏州电子商务网站建设长沙seo结算
  • html5网站是用什么软件做的吗网络运营需要学什么
  • 做网站需要的图片现在怎么做网络推广
  • 世界最大的购物网站什么是sem和seo
  • 郑州公司网站制作销售管理软件
  • iis搭建多个网站500个游戏推广群
  • 珠海网站设计搜索引擎营销是指
  • 网站上的美工图片要怎么做关键词是什么
  • 做俄语网站建设网络营销案例视频
  • 网页设计与制作教学设计seo教程技术
  • 菏泽疫情最新消息什么是seo教程
  • 沈阳凯鸿科技有限公司百度快速排名优化工具
  • 做图片网站会侵权吗神起网络游戏推广平台
  • 银川网站设计建设友情链接是什么
  • 导航网站的广告怎么做的网络营销师证书怎么考
  • 辽阳专业建设网站公司电话号码长春最新发布信息
  • 哪些赌博的网站怎么做的广告优化师
  • 学校网站建设情况介绍企业网站建设方案
  • 网站开发阶段怎么做测试谷歌搜索引擎镜像入口
  • 莱芜网站推广自助发外链网站