在线制作图片的网站,wordpress 批量上传产品,互联网优化,腾讯云建站流程注#xff1a;此文章内容均节选自充电了么创始人#xff0c;CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》#xff08;人工智能科学与技术丛书#xff09;【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列六十八搜索引擎项目实战》搜索引擎系统架构设计…注此文章内容均节选自充电了么创始人CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》人工智能科学与技术丛书【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列六十八搜索引擎项目实战》搜索引擎系统架构设计搜索引擎项目代码实战 总结 自然语言处理系列六十八
搜索引擎项目实战》搜索引擎系统架构设计
公司做项目的一般流程是需求分析、产品设计、系统架构设计、各个模块详细设计、编码开发、测试、上线。需求分析和产品设计不用多说这个阶段还没有技术开发人员实质性介入但会参与讨论需求分析和产品设计的合理性评估讨论。产品设计出来后产品经理一般会和技术开发人员开会讨论产品开发能否实现工作量评估产品细节是否合理等一般在产品大方向不变的情况下会有适当调整之后可能会再次开会讨论几轮后会确定产品设计原型大概的开发工作量及工期。再接下来该系统架构师来登场了架构师会根据需求和产品设计文档做技术架构及选型、模块拆解及各个模块的详细设计。架构设计好之后会把相关模块分配给相应的开发工程师及算法工程师之后编码开发、测试、上线。这是软件开发的一般流程。 这节我们讲的是搜索引擎系统架构那么做系统架构的都需要考虑哪些因素呢首先的理解产品需求知道实现产品需要哪些数据、技术框架、模块拆解以及各个模块的相互依赖的关系及整个流程。对于电商平台的商品搜索功能那么数据就需要商品数据商品数据从哪里获取呢比如业务数据库Mysql是有的但对于商品搜索的索引数据需要初始化和增量更新量部分初始化直接用Mysql不太容易多台机器分布式创建索引再就是大规模创建索引Mysql数据库压力也会很大或者崩溃。所以可以考虑把Mysql的数据同步到Hadoop平台后再用Spark分布式的创建索引就能很好的实现需求。从这方面来讲系统架构不仅要实现功能还得考虑怎么设计更合理。了解了数据的来龙去脉还得知道设计几个模块子系统每个系统用哪些技术框架更好等。下面通过架构图如给大家详细的看一下架构如图19.3所示。
图19.3 搜索引擎架构图 搜索和下面讲到的推荐算法系统是比较类似的这个架构图包含了各个子系统或模块的协调配合、相互调用关系从部门的组织架构上来看目前搜索一般独立成组有的是在搜索推荐部门里面实际上比较合理的应该是分配在大数据部门更好一些因为依托于大数据部门的大数据平台和人工智能优势可以使搜索效果再上一个新的台阶。下面我们从架构图从上到下的来详细的讲一下整个架构流程的细节。 1搜索数据仓库搭建、数据抽取部分 1和搜索相关的Mysql业务数据库每天增量抽取到Hadoop平台当然第一次的时候需要全量的来做初始化数据转化工具可以用Sqoop它可以分布式的批量导入数据到Hadoop的Hive 2和搜索相关的Flume分布式日志收集可以从各个Web服务器实时收集比如搜索用户行为、埋点数据等可以指定source和sink直接把数据传输到Hadoop平台。 2大数据平台、搜索数据集市分层设计、处理 在大数据平台建设搜索相关的数据集市分层设计和推荐大致相同。 3离线算法部分 1基于Spark平台分布式来创建搜索的索引数据库后续的增量索引一般靠消息队列的方式异步准实时更新。 2Spark从Hadoop加载用户画像以及商品画像的特征数据训练基于分类模型的Rerank二次重排序算法模型来预测对搜索的候选商品被点击的概率因为特征工程里加入了和用户个性化的特征工程所以搜索整体排序呈现个性化的特点。如果想增加个性化的程度可以适当把搜索的候选集合适当扩大一些。 3离线计算的部分结果可以更新到线上Redis缓存里在线Web服务可以实时从Redis获取推荐结果数据进行实时推荐。 4在线Web搜索接口服务 1在线Web搜索接口服务先从Solr/ES搜索集群里面获取和关键词相关的搜索结果作为候选集合然后从Web项目初始化加载好的Rerank二次重排序模型进行实时点击率预测对搜索结果进行重排序截取指定的前面的搜索结果进行展示。这个过程会读取一部分Redis缓存数据。 2App客户端、网站可以直接调用在线Web搜索接口服务进行实时展示搜索结果。由于个性化搜索比普通搜索处理更复杂所以在性能上会有所下载但整体在可接受的范围内一般可以单独开个搜索区域进行展示不替换之前的传统搜索。 从架构中看一个完整的搜索引擎项目涉及的技术框架也是非常多其中个性化的因素也涉及了用户画像系统用户画像系统不仅仅可以用在推荐、搜索中它是一个公司级别的通用系统运营推广决策都会用到它。和其它部门的系统如何对接同时适应多种应用场景就需要我们架构设计一个合理的系统。在搜索引擎最关键的核心技术之一垂直搜索引擎部分即通过输入关键词进行检索的相关度搜索框架下面结合业务需求对比几个搜索框架以便确定用哪个框架更合适。
搜索引擎项目代码实战
搜索引擎项目代码实战内容可参见 《自然语言处理原理与实战》人工智能科学与技术丛书【陈敬雷编著】【清华大学出版社】书籍。 更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。
总结
此文章有对应的配套新书教材和视频
【配套新书教材】 《自然语言处理原理与实战》人工智能科学与技术丛书【陈敬雷编著】【清华大学出版社】 新书特色本书从自然语言处理基础开始逐步深入各种NLP热点前沿技术使用了Java和Python两门语言精心编排了大量代码实例契合公司实际工作场景技能侧重实战。 全书共分为19章详细讲解中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注、文本相似度算法、语义相似度计算、词频-逆文档频率(TF-IDF)、条件随机场、新词发现与短语提取、搜索引擎Solr Cloud和Elasticsearch、Word2vec词向量模型、文本分类、文本聚类、关键词提取和文本摘要、自然语言模型Language Model、分布式深度学习实战等内容同时配套完整实战项目例如对话机器人实战、搜索引擎项目实战、推荐算法系统实战。 本书理论联系实践深入浅出知识点全面通过阅读本书读者不仅可以理解自然语言处理的知识还能通过实战项目案例更好地将理论融入实际工作中。 《分布式机器学习实战》人工智能科学与技术丛书【陈敬雷编著】【清华大学出版社】 新书特色深入浅出逐步讲解分布式机器学习的框架及应用配套个性化推荐算法系统、人脸识别、对话机器人等实战项目。
【配套视频】
推荐系统/智能问答/人脸识别实战 视频教程【陈敬雷】 视频特色把目前互联网热门、前沿的项目实战汇聚一堂通过真实的项目实战课程让你快速成为算法总监、架构师、技术负责人包含了推荐系统、智能问答、人脸识别等前沿的精品课程下面分别介绍各个实战项目 1、推荐算法系统实战 听完此课可以实现一个完整的推荐系统下面我们就从推荐系统的整体架构以及各个子系统的实现给大家深度解密来自一线大型互联网公司重量级的实战产品项目 2、智能问答/对话机器人实战 由浅入深的给大家详细讲解对话机器人项目的原理以及代码实现、并在公司服务器上演示如何实际操作和部署的全过程 3、人脸识别实战 从人脸识别原理、人脸识别应用场景、人脸检测与对齐、人脸识别比对、人脸年龄识别、人脸性别识别几个方向从理论到源码实战、再到服务器操作给大家深度讲解
自然语言处理NLP原理与实战 视频教程【陈敬雷】 视频特色《自然语言处理NLP原理与实战》包含了互联网公司前沿的热门算法的核心原理以及源码级别的应用操作实战直接讲解自然语言处理的核心精髓部分自然语言处理从业者或者转行自然语言处理者必听视频
人工智能《分布式机器学习实战》 视频教程【陈敬雷】 视频特色视频核心内容有互联网公司大数据和人工智能、大数据算法系统架构、大数据基础、Python编程、Java编程、Scala编程、Docker容器、Mahout分布式机器学习平台、Spark分布式机器学习平台、分布式深度学习框架和神经网络算法、自然语言处理算法、工业级完整系统实战推荐算法系统实战、人脸识别实战、对话机器人实战。
上一篇自然语言处理系列六十七》搜索引擎项目实战》搜索引擎项目概述 下一篇自然语言处理系列六十九》搜索引擎项目实战》搜索框架技术选型
