Milvus在电商场景中的千万级素材搜索实践

1 .Milvus在电商场景中的 千万级素材搜索实践 James Zhang 飞书深诺集团 算法工程师 

2 .● 飞书深诺集团（https://www.meetsocial.com/）是专注海外数字营销解决方案的综合服务集团， 为中国出海企业提供可定制组合的全链路服务产品，满足游戏、APP、电商、品牌等典型出海场 景需求，陪伴品牌应对海外市场的种种挑战。 

3 .项目背景 以影搜影 在服务电商客户的场景下, 创意部门常常要为客 户制作素材，如：广告图，宣传视频，宣传文案 等。 以图搜图 通过以图搜图, 以视频搜视频，文本搜文本的方式, 发 掘素材，能够为设计人员提供创意上的参考。 同时，也根据一些其他条件（比如热度，效果值等） 作为辅助搜索的条件，帮助创意人员选择合适的素材。 

4 .技术要求 ● 实时返回 ---- 高 (上层调用者还要做一些业务操作, 要求做到1s内返回) ● 并发负载 ---- 中 ● 向量检索的准确性 ---- 低 ● 内存资源占用 ---- 中 (部署的机器内存有一定的限制) 

5 .架构示意 Milvus: 向量相似检索 Redis: 业务缓存 Nginx: 负载均衡 Flask+Gunicorn: Web服务 Supervisor: 进程启动与异 常重启 Docker: 容器隔离部署 

6 .选择合适的索引 ● Milvus索引类型 暴力, 无索引 Kmeans聚类 à 倒排文件索引 (占用空间比原向量大一些) ScalarQuantifier: 浮点数 à 无符号整形 à 聚类 (大 小可压缩至 1/3~1/4) ProductQuantifier: 压缩成低维向量 à 聚类 à 倒排索引 (根据分段参数, 可以压缩到很小) 为向量构建节点邻接图, 并分层搜索, 速度快, 准 确率高, 占用空间大 (约原向量120%) ● https://milvus.io/docs/v1.1.1/index.md#CPU 

7 .选择合适的索引 ● 图片/视频/文本向量在检索出来之后, 上层调用还要做一些业务操作, 留给 我们的接口的时间就不能太多。 ● 由于对速度的要求高, 同时机器内存又有一定的限制, 我们选用了 IVF_PQ 作为向量索引，这是一种有损压缩的向量索引。 

8 . D =128 IVF_PQ 索引将所有向量分解成m段，每一段分别进行聚类，每小段由所属的聚类中心来表示，称为索引值。 例如： 1. 一个D=128维的原始向量，它被切分成了8个（y1, y2, ...y8），维数是16维的短向量； 2. 每个16维短向量在聚类之后，都对应一个量化的索引值，索引值即该短向量距离最近的聚类中心的编号； 3. 每一个原始向量就可以压缩成8个索引值构成的压缩向量，即每个向量都用这8个索引值来表示，相对于原始值 有一定的误差； 在使用的时候，预先计算好的各个聚类中心间的距离（codebook码表），通过查找表得出两个向量索引值之间的 距离，来近似替代两个向量的真实距离，加快了计算速度；在使用中可以通过参数m的设置, 使得向量压缩成很小 的比例, 也大量减少了内存占用（约为向量原始空间大小的5%~10%）。 

9 .设置索引参数 我们设置的 index_file_size=2048 根据milvus官方提供的公式，我们计算得出合适的 索引参数： nlist=1024, m=8 

10 .还想再快一些? 使用分区提高速度 ● 目前数据中，图片、视频、文本都已经上千万，未来预计将扩充到一亿左右, 为了提高检索速度, 分区变得十分必要。 集合中的每个数据段依次建立索引，并将索引 单独存为一个文件; 假如检索n个相似向量, segment有3个, 在搜 索时先在每个segment的index文件中找出n个, 再合并在一起(共3*n个)互相比较找出最终的n 个; https://milvus.io/docs/v1.1.1/storage_con cept.md 

11 .● 目前数据，图片4kw, 视频1kw，文本3kw+, 预计继续增加中...为了提高检索速度, 分区变得十分 必要。我们通过一些业务属性, 根据属性值做笛卡尔积操作来建立分区： ● 例如，我们向量对应的Item有两个属性： X 1 ● 属性A，取值 X,Y,Z Y 2 ● 属性B，取值 1, 2, 3, 4 Z ...... 3 4 ● 那么建立分区: X1,X2,X3,X4,Y1,Y2,......Z4, 一共12个。 ● 通过分区操作，我们将每个分区的向量规模控制在600w以下, 进一步提高了检索速度。 

12 .● 需要注意的是, 用来建立分区的属性应该是不会变动的基本属性, 因为如果 发生变动, 重新建立分区, 导入数据, 建立索引是非常漫长的过程。 ● 另外分区及属性值不能太多, 否则各个属性值相乘(笛卡儿积)会让数量变得 非常庞大, 使程序变得过于复杂。更多的属性检索或筛选，我们在milvus 向量搜索的结果上另外封装一层业务接口来实现。 

13 . 系统效果 服务以REST接口的形 式对外提供，前端团 队调用接口，将结果 展示在界面上。 

14 .性能指标 ● 图片数量：4kw，向量维数：2048，单条检索耗时：200~300 ms ● 视频数量：1kw，向量维数：2048，单条检索耗时：约100 ms ● 文本数量：3kw+，向量维数：768维，单条检索耗时：约100 ms ● 并发数大时（>50），时延会增加，有可能超过1s ● 参考资料：如何轻松玩转十亿向量检索（SIFT1B） ● https://milvus.io/cn/blogs/2019-08-29-vector-search-billion.md 

15 .一些经验与总结 ● milvus集成各种常见向量索引, 能满足工程中大部分的需求，操作方便程 度和检索速度都达到了工业级的水准， 基本上做到了开箱即用； ● 其他类型（字符型，整型）的属性筛选，目前还不支持； ● 总体来说，对于需要快速构建向量检索服务，又不想花太大成本（没时间/ 人力去搞ES，SOLR）的轻量级项目来说，Milvus是一个很好的选择。 

16 .Reference ● Product quantization for nearest neighbor search -- Hervé Jégou, Matthijs Douze, Cordelia Schmid (乘积量化) ● https://zhou- yuxin.github.io/articles/2020/IVFPQ%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86/index.ht ml (IVFPQ检索算法) ● https://blog.csdn.net/u011622208/article/details/107936456 (IVFFlat检索算法) ● Deep learning for content-based video retrieval in film and television production -- M. Mühling, Nikolaus Korfhage, Eric Müller