当前位置: 首页 > news >正文

河北省建设工程质量监督网站百度收录方法

河北省建设工程质量监督网站,百度收录方法,佛山o2o网站建设,web浏览器是什么目录 demo3文本转为向量代码解读给出每一步的输出 demo3文本转为向量 代码 from tensorflow.keras.preprocessing.text import Tokenizer # 标记器(每一个词,以我们的数值做映射,)words [LaoWang has a Wechat account., He is not a nice person., …

目录

  • demo3文本转为向量
    • 代码
    • 解读
    • 给出每一步的输出

demo3文本转为向量

代码

from tensorflow.keras.preprocessing.text import Tokenizer  # 标记器(每一个词,以我们的数值做映射,)words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']  # 把这句话中每一个单词,映射成我们的数值
tokenizer = Tokenizer(num_words=15)  # 上面三句话中,词的总数不超过 15 个(估算的值), num_words 设置单词的数量
tokenizer.fit_on_texts(words)
word_index = tokenizer.word_index
print(word_index, len(word_index))
# 把文本转化为序列编码
sequences = tokenizer.texts_to_sequences(words)
print(sequences)
# 文本转化为矩阵
one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')
# 向量化是构建神经网络的第一步
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)

解读

这段代码使用tensorflowkeras库中的Tokenizer类对文本数据进行预处理。让我们逐步解读这段代码:

  1. 导入必要的库
from tensorflow.keras.preprocessing.text import Tokenizer

这行代码导入了Tokenizer类,这是一个用于文本标记化的工具,可以将每个词映射到一个数值。

  1. 定义文本数据
words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']

这里定义了一个包含三个句子的列表。

  1. 初始化标记器
tokenizer = Tokenizer(num_words=15)

这里创建了一个Tokenizer对象,设置了最大的单词数为15。这意味着它只会考虑频率最高的15个单词。

  1. 适应数据
tokenizer.fit_on_texts(words)

这行代码会将定义的句子列表传给标记器,使其学习句子中的单词及其频率。

  1. 获取词到索引的映射
word_index = tokenizer.word_index
print(word_index, len(word_index))

这里获取了每个词及其对应的索引,并打印它们。len(word_index)将显示总共有多少个唯一单词。

  1. 将文本转化为序列编码
sequences = tokenizer.texts_to_sequences(words)
print(sequences)

此行代码将原始句子转化为整数序列,每个整数对应句子中的一个单词。例如,如果“LaoWang”对应的索引是1,则“LaoWang”在序列中将被替换为1。

  1. 文本转化为矩阵
one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')

这行代码将句子转换为二进制矩阵。如果一个词在句子中,那么它的位置为1,否则为0。

  1. 显示单词和矩阵
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)

这两行代码首先打印出所有的单词,然后打印出转化后的二进制矩阵以及它的形状。

综上所述,这段代码的主要目的是展示如何使用Tokenizer进行文本的预处理,从而为后续的神经网络模型做准备。

给出每一步的输出

在每行代码的末尾添加注释,以描述其执行后的结果。

from tensorflow.keras.preprocessing.text import Tokenizerwords = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']  # words = ['LaoWang has a Wechat account.', 'He is not a nice person.', 'Be careful.']tokenizer = Tokenizer(num_words=15)  # 初始化了一个 Tokenizer 对象tokenizer.fit_on_texts(words)  # 这里没有直接的输出,它只是让 tokenizer 学习 words 的内容word_index = tokenizer.word_index  
print(word_index, len(word_index))  # 输出 word_index 的内容和它的长度, 例如: {'laowang': 1, 'has': 2,...} 12sequences = tokenizer.texts_to_sequences(words)
print(sequences)  # 输出 sequences, 例如: [[1, 2, 3, 4, 5], [6, 7, 8, 3, 9, 10], [11, 12]]one_hot_matrix = tokenizer.texts_to_matrix(words, mode='binary')
# 没有直接的输出,但 one_hot_matrix 会变成一个二进制矩阵print(tokenizer.word_index.keys())  # 输出 word_index 的所有键,例如: dict_keys(['laowang', 'has',...])
print(one_hot_matrix, one_hot_matrix.shape)  # 输出 one_hot_matrix 的内容和形状, 例如: [[0., 1., 1., ...], ...] (3, 15)

注意:以上的输出值示例(例如:'laowang': 1, 'has': 2,...)是基于输入数据而给出的假设。实际的输出可能会根据具体的输入数据和Tokenizer的实现方式而有所不同。

http://www.hrbkazy.com/news/20613.html

相关文章:

  • 如何做移动端网站html网页制作
  • 国内卖到国外的电商平台优化大师怎么卸载
  • 如何搭建https网站千万不要去电商公司上班
  • 广州城市建设档案馆网站网络营销专业技能
  • 怎么自己制作网站免费互联网推广项目
  • 营销型网站平台建设搜索推广代运营
  • 一般网站的宽度是多少合肥网络推广网络运营
  • 淘宝网站建设策划书注册网站域名
  • 深圳网站优化哪家好交换链接营销实现方式解读
  • 网站建设要素的核心内容百度直播
  • web网站开发培训班竞猜世界杯
  • 常德做网站建设的公司如何在百度上开店铺
  • 网站建设战略伙伴seo推广培训学费
  • 灵璧做网站公司seo sem是指什么意思
  • 做一个好的公司网站有什么好处百度seo排名教程
  • pc端和移动端的网站广州企业网站建设
  • 移动网站开发pdf网页制作图片
  • wordpress 模板网站排名优化公司哪家好
  • 哪公司建设网站360搜索引擎
  • 品牌网站制作流程seo学途论坛网
  • 做亚马逊和淘宝网站荆门今日头条新闻发布
  • 网站建设云经典软文广告
  • java网站开发app代理推广合作50元
  • 南京网站制作网络营销策略主要包括
  • 杭州做网站的优质公司北京优化网站方法
  • 企业网站的设计要求有哪些备案查询站长工具
  • 做网站怎么把背景变成纯色短视频seo厂家
  • 做餐饮类网站用哪个程序优化网站推广教程排名
  • 自建网站的劣势新站seo竞价
  • 做国际网站有用吗广东seo点击排名软件哪家好