txtai 5.3 发布,AI 驱动的语义搜索应用

来源: 投稿
作者: 罗奇奇
2023-02-08 07:03:51

AI 驱动的语义搜索应用 txtai 已发布 5.3 版本,此版本添加了嵌入引导和提示驱动的搜索,以及多种训练语言模型的方法。

提示驱动的搜索是 txtai 中会话搜索的一大进步,它可以将复杂的提示传递给 txtai ,以自定义返回搜索结果的方式。另外,现在支持从头开始培训语言模型。支持屏蔽语言建模 (MLM)、因果语言建模 (CLM) 和替换标记检测(ELECTRA 风格),同属微型模型工作的一部分。

txtai 是一个人工智能驱动的搜索引擎,可以在文本的各个部分上建立一个 AI 驱动的索引。 txtai 支持构建文本索引以执行相似性搜索并创建基于问 - 答的系统。此外,txtai 还具有用于 zero-shot 分类的功能。

新功能

  • 将语言建模任务添加到 HFTrainer ( #403 )
  • 添加语言建模示例笔记本(#408 
  • 将常见问题解答部分添加到文档 ( #413 )
  • 将语言生成任务添加到 HFTrainer ( #414 )
  • 向 HFTrainer 添加替换标记检测任务(#415 
  • 添加用于文本生成的生成器管道 ( #416 )
  • 添加用于 LLM 的嵌入引导和提示驱动搜索的笔记本 ( #418 )

改进

  • 标准化 BM25 和 TF-IDF 分数(#401 
  • 如果在 Google Colab 中运行,请添加注释以重新启动内核 - 谢谢@hsm207!( #410 )
  • 启动 API 和找不到配置文件时添加清除错误(#412 
  • 提取器管道 2.0 ( #417 )
  • 使文本参数对于应用程序中的提取器管道是可选的(#420 

Bug修复

  • 修复 ORDER BY 区分大小写的问题(#405 

 更新公告:https://github.com/neuml/txtai/releases/tag/v5.3.0

 

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
分享
返回顶部
顶部