https://www.aliyun.com/page-source//data-intelligence/activity/opensearch

“搜索Query→召回→排序→搜索结果”

  当用户在搜索框输入一个Query时，系统通过对其语义的理解，召回相关文档或商品，在通过算法排序，按客户实际的搜索意图进行前后排序，最终解决其搜索需求，实现业务转化。

其中【召回】与【排序】对搜索引导的业务目标最为重要。

1. 概念介绍

   想实现搜索引擎效果的优化，就一定要对自然语言处理技术有一定的了解，因为用户输入一个Query，从学术角度解读，自然语言智能研究实现了人与计算机之间用语言进行有效通信，它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。

  自然语言处理被学者誉为”人工智能皇冠上的明珠“，研究覆盖了感知智能、认知智能、创造智能这样的学科，是实现完整人工智能的必要技术。

2. 阿里云达摩院NLP搜索分析路径

1. 关键词堆砌

例如：杨幂同款夏季连衣裙包邮。

2. 词序对语义影响不大

例如：杨幂同款女夏季连衣裙包邮；女夏季连衣裙包邮杨幂同款。

3. 类目预测问题

例如：当用户查询“苹果”时，可能查询的是水果，也可能是手机品牌。

4.查询召回文档相关性差

核心词识别不准确，分词不准确

5. 搜索引导的业务转化比重较大

据统计，综合类电商搜索引导转化占比40%以上，垂直类电商搜索引导转化占比60%以上。

6. 稳定性要求较高，支持弹性扩容

活动、大促系统QPS可能是平时的百倍千倍，需要平滑的扩缩容，保障系统的稳定。

1. 分词（划重点！）

例如：

“火锅九块九包邮”

• 效果差的分词：“火、锅、九、块、九、包、邮”；“火锅、九、块、九、包邮”
• 开放搜索的分词：“火锅、九块九、包邮”

“925银耳饰“

• 效果差的分词：“925、银耳、银、耳饰”
• 开放搜索的分词：“925、银、耳饰”

  目前很多开源自建系统难以实现很好的分词效果，主要原因是训练语料的数据量有限，不足以形成可以不断打磨深耕的行业数据。尤其电商行业商品种类丰富，中文字、词表达的意义多样，多音字、同义词又众多的情况下，靠自身算法工程师和开发团队很难实现快速的解决优化，这是一个不断积累训练的漫长过程。

2. 命名实体识别

  对电商Query和标题进行实体词打标识别，其中包含品牌、品类、品类修饰、型号、款式等类别；

• 基于淘宝全量数据和知识库深入优化电商行业实体识别能力，解决品牌更新快歧义大，品类存在修饰关系，品牌品类搭配关系等问题；

2.3.1作用于query改写:

实现方式：

   实体重要性目前分为高、中、低三档。其中“品牌、品类”是在高档，也就是最重要的；其次“风格、款式、颜色、季节、人群、地点…”处于中档；最后“尺寸、修饰词、影响服务、系列、单位…”处于低档，可以丢弃不参与召回。

2.3.2与类目预测一起使用

3. 类目预测

• 用户搜索“苹果”可能是想要水果的苹果，也可能是苹果手机；
• 用户搜索“华为”，召回结果按销量排序，可能销量最高的“华为手表”、“华为配件”排在前面，实际的搜索意图”华为手机“却排在后面。

。

   不同用户搜索意图不同，

4. 排序算法

• 查询结果排序不理想：导致点击率较低，跳出率较高，直接影响业务转化；
• 数据缺乏时效性：难以平衡优质商品和新发布商品之间的权衡关系；
• 商家刷排名：部分商家找到排序漏洞，通过关键词堆砌，获得靠前位置，用户体验不好；
• 人力资源紧张：需要专业算法工程师2-3名，很难找到合适的人才。

5. 人工干预bad case

• “iPhone11”刚上市时，用户搜索“苹果/iphone”，最新款产品肯定要排在前面，在没有常规排序算法的时候，就需要类目预测人工干预；
• “喷泡”是一款篮球鞋的别称，并非主流叫法，全称是“Air Jordan AirFoamposite系列”，这时就需要通过平时运营积累的专业词汇可视化同步到开放搜索做查询语义理解功能的补丁，通过灵活干预得以解决；
• 跨境电商有时Query涉及“日文、韩文、泰文”等外语，当我们的分词词典不能很好的分词优化时，也可以通过分词干预功能解决；
• 用户搜索Query“香奈儿气垫”，默认的实体识别，将“香奈儿”归类为“普通词”；“气垫”归类为“材质”，需要人工干预实体识别，把“香奈儿”干预为品牌。

• 内置干预词典，可在其基础上添加自定义干预词典；
• 支持查询分析干预词典（停用词、拼写纠错、同义词、实体识别、词权重、类目预测）；

6. 搜索引导功能

6.1.1热搜底纹

• 热门query是用户兴趣的风向标，通过分析热门query把握用户的兴趣走向，对制定运营策略提供决策依据；
• 给用户推荐一些优质query，提升业务目标；
• 用户推荐热门query，既提升用户体验，又给部分次热门query增加曝光机会；
• 通过分析用户的行为，结合用户的兴趣来推荐query，想用户所想提高转化机会；

6.1.2下拉提示

• 提高输入效率，帮助用户尽快找到想要的内容，同时；
• 推荐更优质query；

 

   内置热搜、底纹、下拉提示多样搜索引导算法模型，无需开发系统每天自动训练模型，对用户搜索意图起到重要的引导作用，大大降低后续查询意图理解、相关性、排序、运营干预等环节的调优难度，对提升整体业务目标可以起到非常好的铺垫作用。

 

1.搜索架构

开放搜索（OpenSearch）首创电商行业搜索模板能力，帮助企业快速构建更高水准的搜索服务，带动业务指数级增长。

2.一键配置

内置电商行业搜索能力，配置简单新手无门槛

3.电商行业模板优势

根据电商行变化，不断迭代更新原有能力，提供更高时效性的服务保障；

4.电商行业增强版技术核心指标优化

 单个集群实时数据同步Tps百万级；

https://survey.aliyun.com/apps/zhiliao/uzhnOt_g9