AWS工程师辞职创建Tensor Search引擎,即插即用HuggingFace版CLIP模型
机器之心报道
Marqo 是一个多功能且强大的、以用户为中心的搜索引擎,可以集成到任何网站或应用程序中。
不久之前,来自亚马逊的 Tom tomhamer 辞去了软件工程师一职,和其他研究者一起创建并开源了 Tensor Search 引擎 Marqo,其可与用户应用程序、网站和工作流无缝集成。
项目地址:https://github.com/marqo-ai/marqo
Marqo 网站:https://www.marqo.ai/
从 Tom tomhamer 的工作经历看,他已经全职加入了 marqo.ai,并担任联合创始人之一。
至于为什么要做这个项目,tomhamer 表示当我们查看文本句子或短段落时,使用向量语义搜索是不错的选择。不仅如此,向量在进行图像搜索时也做得非常好。遗憾的是,视频、长文本和其他更复杂的数据类型,想要继续使用向量表示就有点困难了。
因此他们设想为语义搜索建立一个搜索引擎,类似于 Solr 或 Elasticsearch,无论你扔给这个搜索引擎什么内容,它都能处理它,并可搜索。
Tensor search 涉及将文档、图像和其他数据转换为 Tensor 的向量集合。将数据表示为张量,这样一来我们能够将查询与文档进行匹配,从而像人类一样理解查询和文档的内容。Tensor search 可以为各种用例提供动力,例如:
终端用户的搜索和推荐;
多模态搜索(图像 - 图像、文本 - 图像、图像 - 文本);
聊天机器人和问答系统;
文本和图像分类。
因此,他们构建了 Marqo,它可以使用向量,也可以在必要时扩展到张量,还允许用户灵活地指定特定的分块策略来构建张量。
由于横向可扩展性,Marqo 提供了非常快的查询时间,即使是对数百万个文档。Marqo 使用类似 CLIP 这样的深度学习算法从图像中提取语义,这意味着它可以轻松地处理图像到图像、图像到文本和文本到图像的搜索模式。
不过 Marqo 仍然是一个正在进行的研究,目前支持:
DSL 语言查询(包括关键字,范围和布尔查询);
由 NMSLIB 提供的高效近似 knn 搜索;
Onnx 支持,多 GPU 支持;
支持排序。
为了支持图像和文本搜索,Marqo 允许用户即插即用 HuggingFace 版 CLIP 模型。不过 Marqo 还不支持 arm64 架构的 docker-in-docker 后端配置。这意味着如果你有一个 M 系列 Mac,你还需要进行进一步操作。
了解更多内容,请查看原项目。
参考链接:
https://www.linkedin.com/in/tom-hamer-04a6369b/
https://www.reddit.com/r/MachineLearning/comments/xk31n8/p_my_cofounder_and_i_quit_our_engineering_jobs_at/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 1 习近平向中国西部国际博览会致贺信 7904686
- 2 榴莲又便宜了 7808773
- 3 校长亲自干食堂 感慨:比外包难太多 7712108
- 4 中国经济靠什么“顶住了压力” 7616612
- 5 71岁赵雅芝演唱会上爆哭 7520738
- 6 陪看:孙颖莎王曼昱巅峰对决 7425005
- 7 网警重拳出击 摧毁一网络水军团伙 7330075
- 8 300万人选出最丑军训服 这事美在哪 7231886
- 9 哈佛中国留学生:没想到成历史一部分 7141356
- 10 博主称上海快餐四菜一汤173元 7045006