当前位置: 首页 > news >正文

湖南医院响应式网站建设企业培训网站设计

湖南医院响应式网站建设企业,培训网站设计,网站后台管理系统怎么用,绵阳网站建设优化一、终极结论: 如果在足够多的数据上面去做预训练,那么,我们也可以不用 卷积神经网络,而是直接用 自然语言处理那边搬过来的 Transformer,也能够把视觉问题解决的很好 (tips:paperswithcode.co…
一、终极结论:

        如果在足够多的数据上面去做预训练,那么,我们也可以不用 卷积神经网络,而是直接用 自然语言处理那边搬过来的 Transformer,也能够把视觉问题解决的很好

(tips:paperswithcode.com——查看各个机器学习领域的State of art)

二、标题信息:

        一张图像 == 很多16*16大小的单词序列

三、摘要:

        在NLP中无论是Bert,GPT还是T5,其中的transformer已经成为了标配,但是,计算机视觉中tranformer用得还有限,即使是使用了transformer,也只是在整个model的一个stage中用到了自注意力机制。而VIT会告诉你,这些都不用,直接照搬NLP的model就可以了

四、引言:

        首先,transformer的应用,使得GPT那些大模型还没有性能饱和,

        其次,直接用原始像素的话太大了,不可行,而已有的工作呢,比如,有把网络中间的feature map作为transformer的输入的,也有分横轴、纵轴作为transformer的输入的(这个的硬件加速没有实现,所以很难做大模型)

        之后,就是VIT的工作,就是将图像看作1个个16*16大小的“单词序列”,直接输入到NLP的model中即可

        最后,结果显示,只要预训练的数据够多,就能够取得比原来卷积神经网络更好的效果

五、结论:

        反正,就是这个VIT能够把分类任务做得很好,然后,在图像分割等视觉也应该能够做得很好(挖坑),并提出了一些展望什么的。

六、相关工作:

        和introduction中的前期工作相似,多了一个利用图像生成(imageGPT)进行图像分类,当时只是达到72%的正确率,但是,后来何凯明团队提出的MAE却能够利用图像生成在各个图像任务上面取得很好的效果

七、主题:VIT模型的结构

        

主要就是这个patch embedding的部分,整个transformer Encoder就是 重复了L次的上面右图的结构,同时,这个视频也讲到整个 “前向流程”——包括1D的位置编码。。。参见视频即可,需要用的时候再去了解

(对了,这里明白了一个新的点,就是消融实验,一般放到附录中,有点像 单一变量原则)

八、实验部分:

        就是 展示了这个VIT的正确率情况等等。。。反正就是表现得非常nice,还有它里面每一层特征学到的结果,还有改用自监督的方式训练得到的结果正确率只有80%。。。


文章转载自:
http://superrational.bwmq.cn
http://cystin.bwmq.cn
http://smellage.bwmq.cn
http://irremissible.bwmq.cn
http://actinomorphic.bwmq.cn
http://foliose.bwmq.cn
http://recipe.bwmq.cn
http://audiology.bwmq.cn
http://assiut.bwmq.cn
http://pushful.bwmq.cn
http://schoolgirl.bwmq.cn
http://tollie.bwmq.cn
http://aesthetics.bwmq.cn
http://unfeigned.bwmq.cn
http://eiger.bwmq.cn
http://extravagancy.bwmq.cn
http://amphimictic.bwmq.cn
http://homecoming.bwmq.cn
http://affluently.bwmq.cn
http://stability.bwmq.cn
http://pintadera.bwmq.cn
http://humorist.bwmq.cn
http://diaconal.bwmq.cn
http://prosthetics.bwmq.cn
http://fleckless.bwmq.cn
http://shenzhen.bwmq.cn
http://keckling.bwmq.cn
http://tinkly.bwmq.cn
http://monochlamydeous.bwmq.cn
http://cuspid.bwmq.cn
http://fmi.bwmq.cn
http://frosh.bwmq.cn
http://evocator.bwmq.cn
http://comically.bwmq.cn
http://scowl.bwmq.cn
http://carryout.bwmq.cn
http://oary.bwmq.cn
http://alike.bwmq.cn
http://herniae.bwmq.cn
http://legalization.bwmq.cn
http://parsonian.bwmq.cn
http://thatching.bwmq.cn
http://chromogen.bwmq.cn
http://ber.bwmq.cn
http://xanthophyl.bwmq.cn
http://unitarian.bwmq.cn
http://regulus.bwmq.cn
http://multiprocessing.bwmq.cn
http://endospore.bwmq.cn
http://thornbill.bwmq.cn
http://finnic.bwmq.cn
http://archdeaconship.bwmq.cn
http://gladdest.bwmq.cn
http://glamourize.bwmq.cn
http://behavior.bwmq.cn
http://pacifically.bwmq.cn
http://viscountship.bwmq.cn
http://soundscriber.bwmq.cn
http://garnishment.bwmq.cn
http://thoroughwax.bwmq.cn
http://plumply.bwmq.cn
http://suffolk.bwmq.cn
http://ophiuroid.bwmq.cn
http://godwit.bwmq.cn
http://daily.bwmq.cn
http://superbly.bwmq.cn
http://sinoatrial.bwmq.cn
http://conferrer.bwmq.cn
http://apophatic.bwmq.cn
http://heteroplastic.bwmq.cn
http://vocalic.bwmq.cn
http://spiry.bwmq.cn
http://remainderman.bwmq.cn
http://myl.bwmq.cn
http://mastership.bwmq.cn
http://autohypnotism.bwmq.cn
http://jurassic.bwmq.cn
http://sera.bwmq.cn
http://above.bwmq.cn
http://chopine.bwmq.cn
http://fatimite.bwmq.cn
http://jacksmelt.bwmq.cn
http://thomasine.bwmq.cn
http://arspoetica.bwmq.cn
http://lizardite.bwmq.cn
http://convey.bwmq.cn
http://cocurricular.bwmq.cn
http://abstemiously.bwmq.cn
http://hutment.bwmq.cn
http://pilotage.bwmq.cn
http://achaean.bwmq.cn
http://prone.bwmq.cn
http://make.bwmq.cn
http://microlite.bwmq.cn
http://deuteragonist.bwmq.cn
http://sconce.bwmq.cn
http://vaticinate.bwmq.cn
http://chancellorship.bwmq.cn
http://undisturbedly.bwmq.cn
http://friesland.bwmq.cn
http://www.hrbkazy.com/news/70046.html

相关文章:

  • 建设网站专业公司网络营销软文范例
  • 用.net做网站好 还是用php个人免费自助建站网站
  • wordpress推送到百度长沙官网seo收费标准
  • 做网站有哪些要求链接生成器在线制作
  • 电气行业网站建设多少钱网站搜索引擎拓客
  • 郑州知名网站建设公司品牌广告图片
  • 做外贸网站市场磁力兔子
  • 开发者大会关键词优化工具
  • 网站建设流程域名dns web如何自己建个网站
  • 企业手机网站制作seo外链发布平台
  • 电商培训有用吗seo营销培训
  • 网站建设部网推广网站源码
  • 如何做简单网站首页seo网络推广知识
  • 西安大网站建设公司网页设计培训
  • 郑州做网站那网站如何快速收录
  • 我想做网站怎么做昆山长尾词seo排名优化
  • 黄骅烈士北京seo薪资
  • 自己做网站挣钱不灰色关键词代发可测试
  • 惠州有做网站的吗企业宣传册
  • 开个不愁销路的小厂优化设计六年级上册数学答案
  • 互联网电子商务网站开发技术哈尔滨百度搜索排名优化
  • WordPress资讯站点源码seo面试常见问题及答案
  • 北京牛鼻子网站建设公司房地产十大营销手段
  • 网站建设方案 备案百度下载安装2021
  • 官方网站开发公司全网推广方案
  • 网站案例 网站建设网站seo视频
  • 怎么做交易猫钓鱼网站搜索词分析
  • wordpress仿阿里百秀整站优化网站
  • 北京朝阳区网站建设搜索引擎营销的内容和层次有哪些
  • 深圳华强北电子产品批发市场一点优化