长沙网站策划站长素材音效网

输入不能存在空格

目前输入的关键词时每隔一空格内容分别进行搜索，大部分时候我们都是将一串包含空格的内容直接进行搜索，需要将代码改进。
将cin换为fgets

#include "searcher.hpp"
#include <iostream>
#include <cstdio>
#include <cstring>
#include <string>const std::string input = "data/raw_html/raw.txt";int main()
{//for testns_searcher::Searcher *search = new ns_searcher::Searcher();search->InitSearcher(input);std::string query;std::string json_string;char buffer[1024];while(true){std::cout << "Please Enter You Search Query# ";fgets(buffer, sizeof(buffer)-1, stdin);buffer[strlen(buffer) - 1] = 0;query = buffer;search->Search(query, &json_string);std::cout << json_string << std::endl;}return 0;
}

desc存在None

搜索出来的结果，有部分desc的内容时None

std::string GetDesc(const std::string &html_content, const std::string &word)
{//找到word在html_content中的首次出现，然后往前找50个字节(如果没有，就从begin开始)，往后找100个字节(如果没有，就截取到end)//截取出这部分内容const std::size_t prev_step = 50;const std::size_t next_step = 100;//1.找到首次出现std::size_t pos = html_content.find(word);if(pos == std::string::npos){return "None1"; //不可能发生}//2.获取start，endstd::size_t start = 0;std::size_t end = html_content.size() - 1;//如果之前有50+字符，就更新开始位置if(pos - prev_step > start) start = pos - prev_step;if(pos + next_step < end) end = pos + next_step;//3.截取子串，returnif(start >= end) return "None2";return html_content.substr(start, end - start);
}

给None的两种情况加上脚标

None1和2都有

因为pos是无符号整数，减去step过了0，成为负数，其实是变为一个特别大的值，此时就超过了start，远大于start，条件成立，更新start，start变为一个特别大的值；这时start有可能大于end，于是返回None2

if(pos > start + prev_step) start = pos - prev_step;

将-变为+，转换为两个正数的比较

std::string GetDesc(const std::string &html_content, const std::string &word)
{//找到word在html_content中的首次出现，然后往前找50个字节(如果没有，就从begin开始)，往后找100个字节(如果没有，就截取到end)//截取出这部分内容const std::size_t prev_step = 50;const std::size_t next_step = 100;//1.找到首次出现std::size_t pos = html_content.find(word);if(pos == std::string::npos){return "None1"; //不可能发生}//2.获取start，end，std::size_t 无符号整数std::size_t start = 0;std::size_t end = html_content.size() - 1;//如果之前有50+字符，就更新开始位置if(pos > start + prev_step) start = pos - prev_step;if((int)pos < (int)(end - next_step)) end = pos + next_step;//3.截取子串，returnif(start >= end) return "None2";return html_content.substr(start, end - start);
}

None2修改完成

在word里面保存的对应的搜索关键字，都变为小写。
索引关键字，搜索关键字都是小写
但是在获取摘要的时候，用的是原始的网页内容，提炼摘要的word是已经转为小写的词
实际在获取摘要，find的时候，就匹配不到了，因为fine不是忽略大小写的
而且string在实际搜索的时候，也没有忽略大小写的匹配方式
并且不能直接将原始网页全部变为小写

可以使用c++的search

std::string GetDesc(const std::string &html_content, const std::string &word)
{//找到word在html_content中的首次出现，然后往前找50个字节(如果没有，就从begin开始)，往后找100个字节(如果没有，就截取到end)//截取出这部分内容const int prev_step = 50;const int next_step = 100;//1.找到首次出现auto iter = std::search(html_content.begin(), html_content.end(), word.begin(), word.end(), [](int x, int y){return (std::tolower(x) == std::tolower(y));});if(iter == html_content.end()){return "None1";}int pos = std::distance(html_content.begin(), iter);//2.获取start，end，std::size_t 无符号整数int start = 0;int end = html_content.size() - 1;//如果之前有50+字符，就更新开始位置if(pos > start + prev_step) start = pos - prev_step;if(pos < end - next_step) end = pos + next_step;//3.截取子串，returnif(start >= end) return "None2";return html_content.substr(start, end - start);
}

None1修改完成

输出权值和doc_id

searcher.hpp

Json::Value root;
for(auto &item : inverted_list_all){ns_index::DocInfo * doc = index->GetForwardIndex(item.doc_id);if(nullptr == doc){continue;}Json::Value elem;elem["title"] = doc->title;elem["desc"] = GetDesc(doc->content, item.word); //content是文档的去标签的结果，但是不是我们想要的，我们要的是一部分elem["url"]  = doc->url;//for debugelem["id"] = (int)item.doc_id;     //int->stringelem["weight"] = item.weight; root.append(elem);
}

是按照权值大小降序排列的
打开这个网页查看

函数重名

util.hpp

    class StringUtil{public:static void Split(const std::string &target, std::vector<std::string> *out, const std::string &sep){//boost splitboost::split(*out, target, boost::is_any_of(sep), boost::token_compress_on);}};

把StringUtil的函数名改为Split

index.hpp

DocInfo *BuildForwardIndex(const std::string &line)
{//1. 解析line，字符串切分//line -> 3 string, title, content, urlstd::vector<std::string> results;const std::string sep = "\3";   //行内分隔符ns_util::StringUtil::Split(line, &results, sep);//ns_util::StringUtil::CutString(line, &results, sep);if(results.size() != 3){return nullptr;}//2. 字符串进行填充到DocIinfoDocInfo doc;doc.title = results[0]; //titledoc.content = results[1]; //contentdoc.url = results[2];   ///urldoc.doc_id = forward_index.size(); //先进行保存id，在插入，对应的id就是当前doc在vector中的下标!//3. 插入到正排索引的vectorforward_index.push_back(std::move(doc)); //doc,html文件内容return &forward_index.back();
}

把index的BuildForwardIndex的调用改为Split

修改文件名

makefile

PARSER=parser
DUG=debug
cc=g++.PHONY:all
all:$(PARSER) $(DUG)$(PARSER):parser.cc$(cc) -o $@ $^ -lboost_system -lboost_filesystem -std=c++11
$(DUG):debug.cc$(cc) -o $@ $^ -ljsoncpp -std=c++11
.PHONY:clean
clean:rm -f $(PARSER) $(DUG)

将server.cc改名为debug.cc

mv server.cc debug.cc

权值和实际关键词出现次数不符合

会多计算也会少计算权值
可能分词工具在分词的时候会少分词
如果目标关键词在尖括号内，可能会当成标签处理，不会计入

把整个文件拿到内存
去标签之后，先拿到标题
对整个文件进行去标签，其中是包括标签的
实际，如果一个词在title中出现，一定会被当标题和当内容分别统计一次
index.hpp

bool BuildInvertedIndex(const DocInfo &doc)
{//DocInfo{title, content, url, doc_id}//word -> 倒排拉链struct word_cnt{int title_cnt;int content_cnt;word_cnt():title_cnt(0), content_cnt(0){}};std::unordered_map<std::string, word_cnt> word_map; //用来暂存词频的映射表//对标题进行分词std::vector<std::string> title_words;ns_util::JiebaUtil::CutString(doc.title, &title_words);if(doc.doc_id == 8713){for(auto &s : title_words){std::cout << "title: " << s << std::endl;}}//对标题进行词频统计for(std::string s : title_words){boost::to_lower(s); //需要统一转化成为小写word_map[s].title_cnt++; //如果存在就获取，如果不存在就新建}//对文档内容进行分词std::vector<std::string> content_words;ns_util::JiebaUtil::CutString(doc.content, &content_words);if(doc.doc_id == 8713){for(auto &s : content_words){std::cout << "content: " << s << std::endl;}}//对内容进行词频统计for(std::string s : content_words){boost::to_lower(s);word_map[s].content_cnt++;}#define X 10
#define Y 1//Hello,hello,HELLOfor(auto &word_pair : word_map){InvertedElem item;item.doc_id = doc.doc_id;item.word = word_pair.first;item.weight = X*word_pair.second.title_cnt + Y*word_pair.second.content_cnt; //相关性InvertedList &inverted_list = inverted_index[word_pair.first];inverted_list.push_back(std::move(item));}return true;
}

debug.cc

#include "searcher.hpp"
#include <iostream>
#include <cstdio>
#include <cstring>
#include <string>const std::string input = "data/raw_html/raw.txt";int main()
{//for testns_searcher::Searcher *search = new ns_searcher::Searcher();search->InitSearcher(input);//std::string query;//std::string json_string;//char buffer[1024];//while(true){//      std::cout << "Please Enter You Search Query# ";//      fgets(buffer, sizeof(buffer)-1, stdin);//      buffer[strlen(buffer) - 1] = 0;//      query = buffer;//      search->Search(query, &json_string);//      std::cout << json_string << std::endl;//}return 0;
}

生成了内容和分词，但是很难观察
创建一个log.txt

touch log.txt

将debug的内容重定向到log.txt当中

./debug > log.txt

共有7000行内容
查找split