在很多场景下，搜索对于流量的转化率要高于推荐，对业务增长的影响也远高于推荐。但是关于搜索的文章却很少，本文作者介绍了电商APP的智能搜索引擎，讲解了AI时代如何进行搜索，一起来学习吧。
现在市面上讲推荐的人太多了，关于推荐的书也很多。
很少有人聊搜索，但在很多场景下，搜索转化的流量远比推荐大，搜索转化的提升对业务增长的推动作用也远大于推荐。
知乎和各大博客上介绍搜索的文章远远少于推荐，所以我会特别开一个系列，跟大家聊聊电商APP里的智能搜索，以及AI时代该怎么做搜索。
1、什么是电商APP搜索引擎？
首先我们要确定的是，我们说的搜索并不是这种综合性的搜索引擎，而是淘宝、京东、美团等电商APP里的搜索引擎。
用户在搜索框中输入关键词，搜索引擎返回相关产品并按照一定顺序展示给用户。电商应用中的搜索引擎和我们平时使用的搜索引擎主要有哪些区别：
1. 用户的复杂程度不同
用户使用综合搜索引擎的复杂度很高，很多时候是探索性搜索，比如用户搜索“经典电影”，百度首先会返回百度自己推荐的经典电影，之后会出现大量包含“经典电影”字样的帖子，很多时候用户甚至会使用“包含爱的诗”这样的描述性语句。
但是由于电商类APP中的搜索引擎有固定的场景，用户的搜索目的性很强，意图也比较明确，比如“男鞋”、“裤子”、“可乐”等。一方面用户有很强的目的性，另一方面用户也知道在这种场景下过度探索不会有什么结果，用户有一定的认知判断。
因此综合搜索引擎需要准确识别用户的搜索意图，而电商场景的搜索引擎要求相对较低。
2. 搜索结果差异太大
两者背后存储的数据多样性差别很大，体量更是相差甚远。
电商APP搜索引擎的结果都是在APP上展示的，而综合搜索引擎就完全不一样了，搜索结果来自各大网站，很多结果都是外链，内容形式多样：视频、文字、音频等。
综合搜索引擎存储着海量的数据，这些数据在不断增加和更新，而电商应用搜索引擎背后的数据池仅限于应用上的商品，即使商家不断下架和上架商品，整体数据量仍远不及综合搜索引擎。
2. 为什么电子商务应用中的搜索引擎很重要？
那么为什么说电商应用中的搜索引擎尤为重要呢？
一方面，随着网购消费群体的多元化以及年轻人自主意识的增强，用户由传统的“被动”接受网站推荐的商品信息，转变为“主动”发现商品、探索自己感兴趣的商品。
那么APP中的搜索功能就成为了非常重要的功能，能够识别用户的意图，精准的返回相应的商品，是至关重要的。
另一方面，数据显示：
1. 综合电商APP
目前搜索引擎的销售归因占比普遍在60%以上，其中搜索占淘宝销售归因的70%左右。
销售归因是指平台上各个流量转化入口，比如搜索入口、类目页入口、首页推荐入口等对最终销售的贡献。从以上数据我们可以清晰的得出搜索目前对整个业务流量的转化贡献是最大的。
在综合电商APP刚刚兴起的时候，最大的销售归因模块是类目页，也就是我们在淘宝上看到的“女装”、“手机”、“男装”等模块。但现在，搜索入口贡献了最多的流量转化。
2.生鲜电商APP
搜索门户占销售归因目前约为35%-40%。
生鲜电商类APP是专门卖生鲜的APP，比如盒马、叮咚买菜、每日优鲜等。由于生鲜电商整体商品数量远少于综合电商，用户每天都会在APP上购买食品。除了搜索入口，类目页在生鲜电商APP的销售归因中也占了很大比重，与搜索入口相差无几，大概在35%-40%左右。
通过以上数据，我们可以直观的看到搜索功能对于电商APP流量转化的影响有多大。
同时我们再做一次计算：
淘宝2019年全年交易额为5150亿美元，假设其中70%是从搜索转化而来，则有3605亿美元是从搜索门户转化而来。
所以如果我们改善搜索体验，丰富搜索辅助功能等，我们可以将70%搜索销售归因的净转化率提高1个百分点，达到71%。
淘宝一年的销售额将增加51.5亿美元，这意味着什么？2019年，叮咚买菜一年的销售额是50亿人民币，大约是7个叮咚买菜的规模。所以互联网公司都在大力提升搜索的转化率，转化率每提升一个点，都会带来一年业务量的巨幅提升。
3. 搜索总体框架
介绍了搜索的重要性之后，那么如何提高搜索的转化率，如何搭建搜索引擎，以及电商APP中搜索引擎的整体框架是怎样的呢？我们用下图来说明：
下面我们将对上图中的每个模块进行详细的介绍。
1. 分析器
分析器的作用是处理用户的输入，进行纠错预处理，然后进行分词、拼音转为汉字、去除停用词等，最后将整个输入分成一个个的词组合，然后进行实体识别。
例如，如果用户输入“红烧面*%”，
1）分词
首先将整个词切分为“”、“红焖”、“方便面”、“*”、“%”。业界有一些常用的切分器，比如IK切分器、分词器等，但在实际使用中，我们会添加更多的词库进行切分，而不是只使用现成的切分器。
2）将拼音转换为汉字
然后将拼音转换成康师傅；
3）删除停用词
删除“*”、“%”等无意义的停用词；
4）实体识别
最后对剩下的“康师傅”、“洪绍”、“方便面”进行实体识别，不仅要切分出固定搭配的词，还需要知道这些词所代表的实体意义，最终得到[:康师傅; :洪绍; SPU & :方便面]。很多词不只有一个实体，比如这里的“方便面”，它既是SPU，又是实体。
2. 同义词典
以上操作都离不开词库，没有词库分析器，我们什么也做不了。我们知道“洪烧方便面%”应该包含“康师傅”，分句应该是“康师傅”、“洪烧”、“方便面”，而不是“康”、“师傅”、“洪”、“红烧方便面”。这是因为我们对这些固定的词语搭配积累了一定的知识。同时，“*%”对于查询来说没有任何意义，这也是基于我们的历史词汇和知识积累。
但是计算机不知道。怎么才能让计算机知道“康师傅”是固定搭配，是单数呢？这就需要我们建立各种词汇库。
电商APP搜索引擎中的词库非常重要，一是词库是否齐全？二是词库是否精准？不同行业、领域都有各自专业的词库，大部分词库并不通用。下图是阿里云针对电商行业建立的实体词库类型。
但实际上还有很多类型的实体词库需要补充，比如生鲜电商的SPU、口味、包装等。同时，还会有大量的同义词库、反义词库、纠错词库、拼音词库等。
计算机怎么知道用户搜索“小番茄”和“小西红柿”是同一个东西呢？这就需要同义词库了。
需要积累大量的同义词，尤其是在生鲜电商领域，同一个菜品在全国各地叫法不同，但对应的是同一种菜品，同时同一个名字可能对应着不同的食物种类，比如“珍珠米”在上海是玉米粒，在东北则是大米的一种。
因此，词汇的建立至关重要，也是一个需要长期积累、不断更新和完善的过程。
3. & 索引
当我们将“红烧面*%”经过分析器处理，得到[:康师傅;:红烧面;SPU&:方便面]之后，我们需要构建召回条件，即在素材库中应该使用上述的哪一个实体来召回。
1）素材库结构排序
召回的基础是电商APP搜索的是固定的素材，也就是APP上目前所有的商品，对应的就是整个APP素材库。最开始我们需要把整个素材库结构化，数据库里存放的是结构化的数据，而不是单单一个商品名“康师傅红烧牛肉面100g”。
结构化数据如下：
如何对物料进行结构化排序？一方面，物料入库时，商品操作需要人工将商品分为1、2、3类，分类需要明确，对应的规格、产地等需要准确录入。另一方面，模型通过商品名称按照一定的规则提取相关实体，比如口味、SPU等。这个前提是建立在商品名称正确、完整的基础上，如果商品名称本身不具备实体信息，模型是无法提取的。
业界常用的分布式搜索引擎是，查询速度非常快。结构化材料数据存储在
2）召回条件构建
[:康师傅;:卤菜;SPU&:方便面] 一般情况下，我们会通过and关系来调用素材库中的实体，但是上面提到的“方便面”有两个属性，因此会将这两个属性分开调用。
同时我们还会添加同义词，构造新的召回条件，比如“方便面”的同义词是“方便面”，而该同义词在SPU实体下是存在的，所以我们会再构造一个召回条件[:康师傅; :红烧; SPU:方便面]。
在生鲜电商中，构造召回条件相对简单，但在综合电商中，比如用户搜索【王一博同款白色卫衣限量版】，我们需要对召回条件进行拆分，如果在索引中以【王一博同款白色卫衣限量版】进行召回，可能召回结果会非常少。
所以我们需要重新构建召回条件，重写它们，选取比较重要的条件进行召回，其他条件则忽略。我们可以重写为 [王一博and and 汗衣] 所以实体之间是有优先级的，某些实体属性优于其他实体属性。
最后我们回顾一下搜索结果。
4.
那么对于召回的搜索结果，如何进行排序呢？一般我们会考虑以下两个方面：
1）相关性排序
产品与商品的相关性。比如用户搜索“康师傅红烧牛肉面100g”，那么商品“康师傅红烧牛肉面100g”一定会排在第一位，“康师傅红烧牛肉面150g大包”排在后面；
2）业务规则排序
另外，我们还需要考虑商品的历史销量、用户喜好、价格、促销等一系列因素。比如用户搜索“方便面”，方便面的种类太多了：康师傅、统一、唐达人等等，与“方便面”的相关度是一模一样的，这时候我们可能会把历史销量高、用户喜好度高的商品排在前面。
一般我们会把第一类和第二类结合起来加分，然后对商品进行综合排名。
3）机器学习模型
通过历史用户点击、购买、收藏、加入购物车的数据，构建机器学习模型，然后利用模型针对不同的人进行不同的排序。这也是市面上主流电商APP的做法，每个人搜索同一个词，看到的结果完全不一样。
以上是对召回和排序模块的整体介绍，实际应用中，召回和排序模块还有很多细节，后面我们会对这两个模块进行详细介绍。
5.
以上是一些通用的规则或者说模型排序策略，实际业务方可能还有一些其他的需求，比如业务方最近在做“康师傅”牌方便面的营销活动，那么当用户搜索“方便面”时，业务方希望我们优先排序所有“康师傅”牌方便面。
因此结果往往需要经过另一层的排序，主要是经营策略的排序。
6. AB 测试
最后就是AB Test实验平台，往往我们线上会有多套搜索策略，为了对比不同策略的用户点击效果，我们需要同时进行AB Test实验，这跟我们高中学的控制变量法类似。我们在同一时间段内制作APP上线，将用户访问量随机划分到不同的实验中，最后对比两者的效果。
以上是一个电商APP搜索引擎的大致框架。
4. 搜索效果评估
当我们建好搜索引擎之后，我们该如何评估搜索引擎的质量呢？可以用什么指标来评估搜索结果呢？
1. 线下评估
离线评估是搜索引擎最难的，当搜索引擎不在线的时候，如何评估搜索引擎的效果呢？这时候就需要我们去构建测试用例，并且对这些测试用例进行数据标注。
比如我们从用户的历史搜索词中随机抽取100个商品，然后人工标注，每个商品应该召回哪些商品，每个商品的相关度分数是多少。我们不会把所有商品都标准化，因为工作量太大，一般会标注几千到上万个商品。
然后把相关性分成几个等级，比如[2, 1, -1]，其中2代表强相关，1代表一般相关搜索框下面推荐的叫什么，-1代表无相关。然后人们就会根据自己的经验来贴标签。
比如材料有【康师傅方便面、统一方便面、康师傅矿泉水、唐达人方便面】
那么当 = “方便面” 时，我们可以将其标记为 [2, 2, -1, 2];
=“康师傅方便面”，可以标记为[2, 1, -1, 1]；
这些标注都是人工进行的，如果标注者的标准不一样，可能标注的结果就完全不一样，所以一开始就需要统一标准，很多时候我们是根据搜索引擎的策略来标注的。
1）召回率（评价召回结果是否完整的指标）
假如用户搜索“方便面”，只回忆起了“康师傅方便面”，那么回忆率=1/3；如果三种方便面都回忆起来，则回忆率=3/3=100%；
2）DCG&NDCG指标（评价排序是否合理的指标）
搜索引擎不仅要召回所有商品，还要合理排序，理论上应该把得分最高的结果排在最前面，得分最低的结果排在最后。搜索“康师傅方便面”时，“唐达人方便面”不应该排在最前面。具体计算公式如下：
2. 在线评估
我们可以用很多种指标来评估在线多方面的效果，一般会用到以下几个指标：
1）查询无结果率
评估召回效果，一般该指标越低越好，说明大部分搜索都有结果。
2）产品平均点击次数
评估排名效果，一般索引越小越好，说明用户在结果页面的最前面找到了自己感兴趣的商品。
3）点击率
点击转化率是对搜索效果的综合评价，是用户搜索后点击的次数，用户是否点击由召回结果和排名决定，CTR越高越好。
4）加入购物车率
加入率也是对搜索效果的一个综合评价，加入率越高越好。
5）跳出率
用户进入搜索结果页面后，是否不采取任何行动就跳出？如果这个指标很高，说明用户对搜索结果不满意，不感兴趣。跳出率越低越好。
以上就是电商APP智能搜索系列第一讲，主要介绍了整体框架和评价体系，接下来将陆续发布：第二讲-如何召回搜索结果；第三讲-如何对搜索结果进行排序；第四讲-搜索引擎商业效果评估指标；第五讲-搜索结果的内容形态与创意形式，以及更多模块的详细讲解~
专栏作家