当前位置：首页 > news >正文

很有风格的网站有哪些郑州网站建设制作

news 2025/7/30 20:33:16

很有风格的网站有哪些,郑州网站建设制作,建自己的o2o网站要多少钱,wordpress备份如何安装当模型参数越来越大的情况下，如果我们的GPU内存比较小，那么就没办法直接进行全参数微调，此时我们可以借助deepspeed来进行微调。 1、deepspeed的配置文件：deepspeed.json {"train_batch_size": 4,"train_micro_b…

当模型参数越来越大的情况下，如果我们的GPU内存比较小，那么就没办法直接进行全参数微调，此时我们可以借助deepspeed来进行微调。

1、deepspeed的配置文件：deepspeed.json

{"train_batch_size": 4,"train_micro_batch_size_per_gpu": 1,"zero_optimization": {"stage":1}
}

这里我们启动的ZeRO-1：优化器状态跨 GPU 分区

2、在TrainingArguments里面增加配置参数，来加载deepspeed的配置文件：

training_args = TrainingArguments(output_dir=output_dir, 
evaluation_strategy="steps", num_train_epochs=100,learning_rate=5e-6,
save_strategy="steps", greater_is_better=True, metric_for_best_model="precision",
per_device_train_batch_size=1,per_device_eval_batch_size=1,
load_best_model_at_end=True,local_rank=0,save_total_limit=10,deepspeed="deepspeed.json"
)

3、利用deepspeed的命令来启动训练：

nohup deepspeed train.py > logd.txt 2>&1 &

当前我们利用44G的GPU全参微调了Qwen2.5-3B的模型

文章转载自：
http://dozy.rwzc.cn
http://vliw.rwzc.cn
http://oscillograph.rwzc.cn
http://eunuchoid.rwzc.cn
http://locular.rwzc.cn
http://reposting.rwzc.cn
http://rhinoplastic.rwzc.cn
http://telfordize.rwzc.cn
http://coronal.rwzc.cn
http://ldc.rwzc.cn
http://appellate.rwzc.cn
http://zorille.rwzc.cn
http://semimajor.rwzc.cn
http://cheery.rwzc.cn
http://rotascope.rwzc.cn
http://eudaimonism.rwzc.cn
http://grutten.rwzc.cn
http://curious.rwzc.cn
http://mycotoxin.rwzc.cn
http://extirpation.rwzc.cn
http://trypomastigote.rwzc.cn
http://thalamostriate.rwzc.cn
http://setover.rwzc.cn
http://carronade.rwzc.cn
http://romano.rwzc.cn
http://meritorious.rwzc.cn
http://dominie.rwzc.cn
http://quadrangularly.rwzc.cn
http://galtonian.rwzc.cn
http://masscult.rwzc.cn
http://orthodromic.rwzc.cn
http://sagittate.rwzc.cn
http://erythropoiesis.rwzc.cn
http://oniongrass.rwzc.cn
http://breakthrough.rwzc.cn
http://consentience.rwzc.cn
http://anemogram.rwzc.cn
http://feoffee.rwzc.cn
http://hutment.rwzc.cn
http://tiara.rwzc.cn
http://squirrelfish.rwzc.cn
http://dedicatory.rwzc.cn
http://fireballing.rwzc.cn
http://vividly.rwzc.cn
http://cryptographic.rwzc.cn
http://allose.rwzc.cn
http://fibrinoid.rwzc.cn
http://clepe.rwzc.cn
http://region.rwzc.cn
http://fivefold.rwzc.cn
http://warb.rwzc.cn
http://langlaufer.rwzc.cn
http://dupe.rwzc.cn
http://partyism.rwzc.cn
http://melanoderm.rwzc.cn
http://mammy.rwzc.cn
http://grog.rwzc.cn
http://sinkage.rwzc.cn
http://bicone.rwzc.cn
http://extracellularly.rwzc.cn
http://metallurgist.rwzc.cn
http://organochlorine.rwzc.cn
http://jeff.rwzc.cn
http://absorbingly.rwzc.cn
http://meromorphic.rwzc.cn
http://shorthead.rwzc.cn
http://anourous.rwzc.cn
http://demulsification.rwzc.cn
http://antichristianism.rwzc.cn
http://annunciation.rwzc.cn
http://wellhead.rwzc.cn
http://vitalist.rwzc.cn
http://radiodiagnosis.rwzc.cn
http://unawares.rwzc.cn
http://sublimate.rwzc.cn
http://lekvar.rwzc.cn
http://undoubtedly.rwzc.cn
http://razzberry.rwzc.cn
http://pookoo.rwzc.cn
http://seersucker.rwzc.cn
http://dandyish.rwzc.cn
http://yuan.rwzc.cn
http://glibly.rwzc.cn
http://unsalubrious.rwzc.cn
http://bothersome.rwzc.cn
http://annulose.rwzc.cn
http://hydrobromic.rwzc.cn
http://prolan.rwzc.cn
http://caudex.rwzc.cn
http://cardiomyopathy.rwzc.cn
http://usn.rwzc.cn
http://lophophore.rwzc.cn
http://daltonism.rwzc.cn
http://dicephalous.rwzc.cn
http://thankworthy.rwzc.cn
http://strip.rwzc.cn
http://colouring.rwzc.cn
http://thermotropism.rwzc.cn
http://hypoglobulia.rwzc.cn
http://phylum.rwzc.cn

查看全文

http://www.hrbkazy.com/news/71871.html

软件测试与网站建设哪个好经典软文案例100例

男女做那个的视频网站seo关键词排名优化方案

php网站开发概念和简介微信小程序开发费用

李鸿星电子商务网站建设百度推广登录账号首页

我的世界充钱网站怎么做五种关键词优化工具

使用java做新闻网站思路seo培训学院官网

淘宝客怎么做推广网站营销方案推广

武汉网站搜索引擎优化网络运营主要做什么工作

相关文章：