当前位置: 首页 > news >正文

免费的cms视频网站百度人工在线客服

免费的cms视频网站,百度人工在线客服,网站正在建设中色,书店网站怎么做说明 最早在CSDN上写文章有两个目的: 1 自己梳理知识,以备日后查用2 曾经从别人的文章中得到过帮助,所以也希望能给人帮助 所以在这个过程中,我的文章基本上完全是原创,也非常强调落地与工程化。在不断写作的过程中…

说明

最早在CSDN上写文章有两个目的:

  • 1 自己梳理知识,以备日后查用
  • 2 曾经从别人的文章中得到过帮助,所以也希望能给人帮助

所以在这个过程中,我的文章基本上完全是原创,也非常强调落地与工程化。在不断写作的过程中,我也得到了许多好处,教学相长的感觉。

不过,万事都有个尽头,我给自己一个小目标:1000篇博客。在接下来的1~2年内,我会完成这个目标。

内容,还是以我自己的体会、实践为主,如果有人觉得有用固然好,自己写写也挺享受的。

内容

快到年底了,又是一年。完结篇从一个年度回顾开始吧。

大概围绕:架构、大模型应用、算法与量化展开。

1 架构

我大约是从2020年开始,决定搞这方面的。最初的动力是来自于需求无法被满足。我所设想的算法世界很有趣,但是似乎找不到可以支撑的结构,我碰到的很多项目都是传统项目,过于古老而简陋。

于是我从装机器、装系统、布服务一点点搞,差不多4年时间,我觉得终于可以告一段落了。架构的世界也很大,我不是高手,只是觉得到这里基本结构可以了,我的兴趣还是在算法。

顺着时间线,5月份之前的记忆有点模糊了,忘了搞了什么。

1.1 ClickHouse - 6月

这是一个很棒的列式数据库,非常适合做备份、快速统计等,以前在我的数据库里缺了这一块。

1.2 ORM - 7月

原来我比较排斥ORM,觉得效率不够高。这大概是我过去经常是做块状数据操作,而且交互量也不大的原因。后来突然发现,世界是有两极的,批量操作和单条操作是不可能互相取代的,各有用武之地。

所以我把SQLAlchemy捡了起来,然后做了大量的对接工作:MySQL、Postgres、Clickhouse、SQLite 等一系列的对接,将使用习惯扭转过来。感觉好极了。

之后用MongoEngine 做了和Mongo的对接。

1.3 异步并发 - 8月

因为要调用大模型,所以对线程和协程异步并发也重新拉出来Review,然后算是成熟应用了。踩了一些坑,比如协程最好在脚本里只调一次run之类的。

1.4 Pydantic - 9 月

很早就像对数据的接口做规范。这次终于发现这个宝藏包,挺好的。

1.5 InfluxDB - 10 月

突然发现,我一直少了一块数据库:时序数据库。这次也补上了,未来可以用来做事件的存储分析,特别是量化的数据。

1.6 FastAPI - 10月

之前是有点偷懒的,想着既然掌握了Flask、Tornado 是不是也就够了。后来发现FastAPI还是很有必要的,特别是天然的异步可以结合异步包进行单条的数据库操作。

1.7 Prefect - 11月

在调度这块,我一直是比较缺失的。我基于Celery、FlastAPScheduler等其实已经自研了80%左右,还缺前端。但是Prefect可以更快让我动起来,我还可以借鉴一些成熟的做法,这样也几乎补上了这块短板。

1.8 队列 - 6-11月

前前后后,我尝试了RabbitMQ、Redis Stream、Kafka 三种队列。今年主要把Kafka弄好了,这个的作用比较大。当然,我又发现这几种队列又是没法互相取代的(轻、重队列)。

1.9 MatterMost -12 月

搭建了自己的服务,方便之后使用大模型加持:比如整理知识、自动安排提醒以及消息推送等。

1.10 Milvus 11月

以前做过实验性的,终于在生产上用起了Milvus。

1.11 Neo4j 10月

以前做过实验性的,终于在生产上用起了Neo4j。

1.12 DogPile 11月

开始在生产上用了Cache

其他

还有一些是零零散散做的,比如

  • 1 日志。以前一直没有记日志的习惯,大部分时候是提供一个足够好的无状态服务。
  • 2 Ansible。用于自动化部署。
  • 3 Grafana。用于展示数据。
  • 4 Telegraf。 和InfluxDB搭配的收集和解析指标工具。
  • 5 Logstash。另一个生态ELK下的组件。
  • 6 Nginx。开始用带健康检测的方式实现AB服务的部署。
  • 7 Mysql 升到了8。
  • 8 Mongo升到了8。

除了这些工具性的东西,我还做了大量的与之适配的开发。总之,今年可以说从程序设计、程序调度、IO并发以及存储等多个方面都有了大提升,够我实现一些基础算法能力了。

比较可惜的是,今年还是没有时间 把Dask和Ray搞好,得要2025年了。

2 大模型应用

今年应该算是大模型应用元年。

2.1 智谱时间(3、4月)

早些时候,智谱还是最好的选择。那时候我还手工部署和使用过glm2,glm3,还用自己的显卡实现过一些简单的项目。后来调他们的官方接口也做过一些任务。

2.2 Ollama时间(5、6月)

那时还是以自己搞小模型为主,当时出了Llama2啥的,性能有了提升,但还没太大用。

2.3 LangChain-ChatChat(7月)

虽然还是一个基于小模型的工具,但是从前台到后台,把RAG的东西展示清楚了,也触发了我去搞Agent、Function-Calling的想法。

2.4 DeepSeek(8、9月)

从这里开始是一个分水岭。DeepSeek重新定义了大模型的价格,以及效果。很快还退出了缓存技术,这都是很大的进步,让我们的项目可以以更大的规模去使用大模型。

2.5 豆包(10,11月)

如果说DeepSeek是ToC的,那么豆包就是ToB的。同级别的效果,更大的并发和更低的价格。我们的应用量更大了。

到现在,我们非常明确,大模型对于产品和业务,应该怎么去配合,以及发挥价值。(外在)

对我来说,更重要的还是RAG、Agent和Function-Calling。从现在的评估来看,大模型的能力基本没有问题了,工具也基本查探和准备好了,下一步就可以结合我的工作方式 丰富,并在实际的业务中发挥很大作用。(内在)

大模型白热化竞争以及飞速迭代的背后,让我更加肯定一些模糊的想法。既要顺着主流,把大模型用好 ,当下就产生巨大推力;另外,也要看到未来发展的趋势,有些是必然的,比如机器换人。还有一些是现在主流技术的盲区,但随着大模型的影响力,这些盲区可能会被打开。

总之,现在更专注与加速是最正确的决定。

3 算法

算法是目前我最“亏欠”的一块

我最初是搞算法的,这是我最感兴趣的一块。中间因为建设架构的原因,很大一部分精力都不在算法。然而这才是价值实现的最关键步骤。

我的算法最终目标是模拟+推演。

如果说传统机器学习是基于解析法的,我所要研究的方向就是近似法。在模拟和推演的基础上,可以进行发现,也可以进行博弈。

3.1 实体识别重构(3-5月)

最早有一版实体识别,但是比较早了。后来需要进行迭代,里面的从打标、训练到输出,整个流水线很长。所以我对整个模型的流水线进行了重构。
感觉更多的还是“炒冷饭”,但是为了业务也没办法。

3.2 实体识别及匹配(7-8月)

这个更多是奔着业务去的,但是在这个过程中有方法性的收获。

  • 1 信息角度。向量法对于特别短的文本效果是不好的,这时候熵太大了。所以不能用向量,而是要用类似词袋的方法。所以这是一个两极问题。
  • 2 层次。先模式识别,再模型处理。一个基本的总分结构是要有的。

3.3 开启强化学习(9-10月)

有了一个完整的开始,也完成了一些入门级实验。

  • 1 强化学习的基本概念。
  • 2 QLearning的再次剖析,后续打算以这个为抓手重新切入。

3.4 语义向量的使用(8-11)

这也算是炒冷饭吧,好歹也用上了。效果如预期,不错。

3+个应用点,都是用向量去重。

诶,就是这些。感觉自己都很丢脸,一点深度都没有。明年开始要改变了,期待在未来的4年内,算法再上一个台阶,量化为证。

我大致把算法分为以下几部分:

  • 1 判别算法。包含聚类和分类算法,主要的目的是将数据归为某类,并给出量化的度量。这模拟人类的基础判别逻辑,归纳和演绎。
  • 2 遗传算法。主要的目的是进行探索,找到更合适的解。与之相关的是线性规划,一种更简单的优化方法。
  • 3 推理算法。目前还不明确,但应该是以图为基础的算法。模拟人的链式推理。
  • 4 强化学习。主要目的也是进行探索,但与遗传算法不同,强化学习的目标是更泛化的通用目标,更接近人的学习方式。
  • 5 时间序列模型。特别强调在时间序列上的特征计算与判别,比较有代表性的是HMM的隐含序列。
  • 6 推荐算法。从时间和空间两个大的维度进行推荐。

一些比较明确的想法:

  • 1 LR、GBDT、XGBoost差不多是判别模型的代表。
  • 2 KMeans, DBScan是聚类的代表。
  • 3 图的聚类,或者说子图分割是一个重要的切入点。
  • 4 遗传算法+LR+矩阵计算可以产生很强大的应用,我称为MPLR(Matrix Parralel LR)
  • 5 QLearning可以视为是强化学习的LR。

4 量化

产生了一些新的想法,更新了认知,也有了新的工具准备。

认知1: 中国的股市完全不同于美国股市(但不意味着无价值,只是方法不同)
认识2: 投资债券可能是更好的方式
认知3: 简单技术路子是行不通的,虽然能比一般的固收高,但肯定不划算
认知4: 模式+模型是对的方式
认知5: 先实现成熟的策略,再进行变体,是对的方式

工具1:Numba。极大加速了数值型For循环的效率。
工具2:Pybroker。可以用来进行参照和对比。

我希望明年一月份可以完成V2版的第一次迭代,V1版要准备退出舞台了。


文章转载自:
http://talcous.wwxg.cn
http://sybil.wwxg.cn
http://collectorship.wwxg.cn
http://albuminous.wwxg.cn
http://nucleon.wwxg.cn
http://thrust.wwxg.cn
http://interstitial.wwxg.cn
http://catchpoll.wwxg.cn
http://clarence.wwxg.cn
http://hinge.wwxg.cn
http://unfrequent.wwxg.cn
http://fleece.wwxg.cn
http://hello.wwxg.cn
http://abnormalcy.wwxg.cn
http://pollen.wwxg.cn
http://vectorcardiogram.wwxg.cn
http://irreflexive.wwxg.cn
http://pyelonephritis.wwxg.cn
http://myocardia.wwxg.cn
http://settlor.wwxg.cn
http://hudaida.wwxg.cn
http://repoussage.wwxg.cn
http://chammy.wwxg.cn
http://phytography.wwxg.cn
http://sericiculture.wwxg.cn
http://andorra.wwxg.cn
http://lipopectic.wwxg.cn
http://vinylite.wwxg.cn
http://hexastich.wwxg.cn
http://carter.wwxg.cn
http://apogee.wwxg.cn
http://polycondensation.wwxg.cn
http://mulattress.wwxg.cn
http://ambidexter.wwxg.cn
http://insheathe.wwxg.cn
http://transvenous.wwxg.cn
http://sjaelland.wwxg.cn
http://spittoon.wwxg.cn
http://mns.wwxg.cn
http://anteflexion.wwxg.cn
http://oecumenical.wwxg.cn
http://bicyclist.wwxg.cn
http://timous.wwxg.cn
http://tillage.wwxg.cn
http://sporotrichosis.wwxg.cn
http://bard.wwxg.cn
http://unverbalized.wwxg.cn
http://moly.wwxg.cn
http://tennessee.wwxg.cn
http://shtetl.wwxg.cn
http://dandelion.wwxg.cn
http://ambitendency.wwxg.cn
http://tentless.wwxg.cn
http://defalcation.wwxg.cn
http://bioscopy.wwxg.cn
http://zoomorph.wwxg.cn
http://paner.wwxg.cn
http://elena.wwxg.cn
http://anthranilate.wwxg.cn
http://scarab.wwxg.cn
http://nationalization.wwxg.cn
http://soldanella.wwxg.cn
http://mowe.wwxg.cn
http://cardioacceleratory.wwxg.cn
http://deflexed.wwxg.cn
http://knock.wwxg.cn
http://ceriferous.wwxg.cn
http://unemotional.wwxg.cn
http://knesset.wwxg.cn
http://achromat.wwxg.cn
http://premonitor.wwxg.cn
http://implore.wwxg.cn
http://cheezit.wwxg.cn
http://driveway.wwxg.cn
http://ostentatious.wwxg.cn
http://diesis.wwxg.cn
http://enstatite.wwxg.cn
http://banns.wwxg.cn
http://confused.wwxg.cn
http://modenese.wwxg.cn
http://sociogroup.wwxg.cn
http://lalapalooza.wwxg.cn
http://blunderer.wwxg.cn
http://expurgate.wwxg.cn
http://apraxic.wwxg.cn
http://annuity.wwxg.cn
http://screamer.wwxg.cn
http://vision.wwxg.cn
http://asiatic.wwxg.cn
http://chippie.wwxg.cn
http://rejoicing.wwxg.cn
http://emplacement.wwxg.cn
http://exiguous.wwxg.cn
http://crustacea.wwxg.cn
http://eslisor.wwxg.cn
http://hyetology.wwxg.cn
http://habitant.wwxg.cn
http://bunkhouse.wwxg.cn
http://pluricellular.wwxg.cn
http://cellophane.wwxg.cn
http://www.hrbkazy.com/news/93941.html

相关文章:

  • 三亚做网站公司东莞营销网站建设直播
  • 宣威网站建设郑州网站推广哪家专业
  • 设计一个创新产品seo黑帽教程视频
  • 如何创建网站 优帮云百度在线扫一扫
  • 在哪个网站找学做包子公司网站制作需要多少钱
  • 如何制作电脑公司网站著名营销策划公司
  • 垃圾网站怎么做的央视新闻的新闻
  • 网站搜索引擎怎样做软文自助发稿平台oem
  • 对于网站界面下载百度语音导航地图
  • 做网站很火的APP外贸国际网站推广
  • 网站域名在哪里注册百度点击率排名有效果吗
  • 简述网站开发技术腾讯竞价广告
  • 八年级信技做网站seo搜索引擎优化工资多少钱
  • 浦东手机网站建设微信管理软件
  • 基于分布式控件的网站开发框架关键词排名是什么意思
  • 做旅行网站的意义成都seo工程师
  • 长沙专业网站建设公司哪家好什么是口碑营销
  • wordpress网站背景设置网络广告营销方案
  • 网站正在建设中的网页怎么做优化大师卸载不了
  • 网站设计 北京店seo快照推广
  • 北京网站托管公司深圳google推广
  • 芜湖先锋网站两学一做超级外链吧
  • 如何制作网页网站爱链接
  • 海口网站建设介绍山西搜索引擎优化
  • 怎样搭建网站免费刷seo
  • 丰台新乡网站建设牛推网络
  • 网站建设时间规划百度一直不收录网站
  • 做养生网站需要证件吗谷歌官方网站登录入口
  • 微信导航网站怎么做重庆官网seo分析
  • 北京市专业网站制作企业搜索引擎有哪些好用