sponsored links

開放搜尋多路召回技術解讀

背景

所謂的“多路召回”就是指採用不同的策略、特徵或者簡單模型,分別召回一部分候選集,然後再把這些候選集混合在一起後供後續排序模型使用的策略。

阿里雲開放搜尋(OpenSearch)是基於阿里巴巴自主研發的大規模分散式搜尋引擎搭建的一站式智慧搜尋業務開發平臺,目前為包括淘寶、天貓在內的阿里集團核心業務提供搜尋服務支援。目前開放搜尋提供文字檢索,透過對文字query進行分詞加上一些查詢分析處理,對query進行改寫後再查詢引擎,大大提高了搜尋的效果。但是對於一些對搜尋效果要求較高的場景,例如:教育搜題場景,教育拍照搜題相比傳統的網頁或者電商的搜尋存在明顯的差異,第一點是搜尋的Query特別長,第二點是搜尋的Query由拍照OCR識別之後得到的文字,其中關鍵TERM識別錯誤的話,就會嚴重影響召回排序。針對這些問題的解決方法,一種方案是繼續最佳化QP,增強QP對文字處理的能力。另一種方案是引入向量召回,透過計算向量空間的距離來召回文件,作為對文字召回的一種補充。

功能價值

在長Query、長尾Query、Query不規範等場景時,如果基於文字檢索出現召回不準確、結果不足等問題,補充向量召回可以有效地提高召回文字的效果,同時也可以提供擴召回的能力。

開放搜尋提供多路召回的演算法工程能力,賦予不同行業的使用者定製不同的多路召回功能需求,並且已經產品化,在多個行業的使用者中實踐應用。其優點有以下幾個方面:

1、提供靈活的演算法能力,支援根據不同行業的特點對文字向量化進行技術最佳化,兼顧效果和效能

2、支援cava指令碼,提供更加靈活的定製排序算分能力;

3、支援帶模型的分析器和不帶模型的分析器,分別對無演算法能力的使用者和有演算法能力的使用者提供向量召回功能

4、對比開源產品,開放搜尋搜尋準確性搜尋延遲優勢更加明顯,搜尋延遲從開源秒級降到幾十ms。

多路召回架構圖

多路查詢

開放搜尋(OpenSearch)支援多路查詢功能。配置好查詢策略,可以同時查詢文字Query和向量Query。當然也支援只查詢文字Query或只查詢向量Query。如果配置了文字向量化功能,則文字查詢的時候開放搜尋會對文字向量化,生成向量Query,兩路結果召回後排序。

向量分析器

開放搜尋(OpenSearch)支援多種型別的向量分析器,主要是行業通用向量分析器行業定製向量分析器、以及通用的向量分析器(向量-64維、128維、256維通用)。其中通用的向量分析器需要使用者自行將資料轉化為向量,並以DOUBLE_ARRAY型別儲存,這適用於演算法能力較強的客戶使用。

查詢分析

賦予演算法同學對不同行業的向量模型進行定製,根據以教育行業為例,

其中針對教育搜題做的特別最佳化有:

  • BERT模型採用達摩院自研的StructBERT,並針對教育行業定製模型
  • 向量檢索引擎採用達摩院自研的proxima引擎,準確性和執行速度遠超開源系統
  • 訓練資料可以基於客戶的搜尋日誌不斷積累,效果持續提升
  • 改寫出語義向量query, RANK上文字term, 只參與算分不參與召回,提升召回的top文字質量。

排序定製

開放搜尋(OpenSearch)開放了兩階段排序:基礎排序和業務排序,即粗排和精排。其中,精排支援cava指令碼,更靈活地支援使用者的排序需求。

多路召回流程中開放搜尋最終會進行統一排序,目前支援內部排序和精排模型打分排序。內部排序直接根據多路召回的結果按照返回的分數從高到低排序。精排模型打分需要使用者提供模型資訊,對多路召回的結果根據模型打分排序。

多路召回實踐案例

電商/零售搜尋

社群論壇搜尋

對比接入前後top title的不同效果

原文連結:https://developer.aliyun.com/article/788235?utm_content=g_1000314852

本文為阿里雲原創內容,未經允許不得轉載。

分類: 科學
時間: 2021-12-26

相關文章

雙喜!短短23天,藥明巨諾第二款靶向BCMA的CAR-T療法獲批臨床

雙喜!短短23天,藥明巨諾第二款靶向BCMA的CAR-T療法獲批臨床
提起大名鼎鼎的CAR-T(嵌合抗原受體T細胞)免疫療法,現在幾乎無人不知,此療法是最具創造性的基因療法之一,主要用於治療血液腫瘤,即從人體血液中提取T細胞,應用基因工程技術將其變身為能識別並消滅腫瘤的 ...

多發性骨髓瘤新的治療手段有哪些?(下)

多發性骨髓瘤新的治療手段有哪些?(下)
上一篇多發性骨髓瘤新的治療手段有哪些?(上) 二,靶向治療 1.BCL-2抑制劑:維奈托克(Venetoclax),是一類口服的靶向B細胞淋巴瘤因子的選擇性抑制劑,主要適用於慢性淋巴細胞白血病.小淋巴 ...

ADC聯合療法有望成為肺癌患者治療的新選擇

ADC聯合療法有望成為肺癌患者治療的新選擇
*僅供醫學專業人士閱讀參考 ADC聯合療法有望為肺癌患者帶來新希望! 抗體藥物偶聯物(antibody-drug conjugate,ADC)是一類透過特定的連線頭將靶標特異性的單克隆抗體與高殺傷性的 ...

幾種魚類促食劑對垂釣鯉魚和鯽魚的適口性研究
最近,我們運用攝食量法研究不同物質對鯉魚和鯽魚攝食適口性的影響,試驗了四種魚類促食劑( 馥郁香多巴鹽.DMPT.DMT.精氨酸) 對鯉魚和鯽魚攝食適口性的影響.在魚類養殖過程中,餌料中都含有魚類促食劑 ...

“欠債還錢”有了新說法?2021年債務新規下,4種欠款可以不用還

“欠債還錢”有了新說法?2021年債務新規下,4種欠款可以不用還
很多老一輩的人都很喜歡存錢,尤其是,古語有一句話講,未雨綢繆,就是要提前做好準備,以應對各種突發事件,2020年恰逢疫情出現,不少行業陷入停頓,突發事件發生後,不少人才想起存錢的重要性,實際上,我國還 ...

“欠錢”可以不用還了?2021年新規下,5種債務被視作無效

“欠錢”可以不用還了?2021年新規下,5種債務被視作無效
欠債還錢,天經地義,是人盡皆知的一種理念,但其本身卻是一種很籠統的說法.債務有很多種分類,房貸.車貸.個人借款屬於債務.在生活中,人們總會遇到一時的難題,餘額不足以解決當下的問題,這樣的情況下就不得不 ...

HER2陽性乳腺癌新輔助治療思考

HER2陽性乳腺癌新輔助治療思考
整理:腫瘤資訊 來源:腫瘤資訊 王紅霞 上海市第一人民醫院腫瘤中心中心主任,主任醫師,教授,博導.從事腫瘤臨床工作20多年,主要研究方向為乳腺癌和胰腺癌的研究與精準診治.擅長乳腺癌.前列腺癌.膽胰腫瘤 ...

今日科技話題:雙生病毒、黃三角鹽鹼地、全球大型真菌新物種、登革熱、遙遠無線電訊號、癲癇

今日科技話題:雙生病毒、黃三角鹽鹼地、全球大型真菌新物種、登革熱、遙遠無線電訊號、癲癇
1 雙生病毒透過自噬因子促進病毒侵染 ▲ 雙生病毒透過自噬因子促進病毒侵染的機制.中國農科院植保所供圖 近日,中國農業科學院植物保護研究所作物有害生物功能基因組研究創新團隊在美國<公共科學圖書館 ...

急性淋巴細胞白血病,迎來首個CAR-T療法:Tecartus

急性淋巴細胞白血病,迎來首個CAR-T療法:Tecartus
近日,美國FDA宣佈,批准CAR-T細胞療法Tecartus(Brexucabtagene Autoleucel)一項新適應症,用於治療復發或難治性B細胞急性淋巴細胞白血病(B-ALL)成年患者. T ...

首個防治登革熱藥物有望問世
近日,比利時研究人員發現了一種化合物.該化合物在體外實驗和小鼠實驗中能夠阻止登革病毒複製,並可能作為一種易於服用的藥物上市,用於抵抗登革熱.相關研究結果發表於<自然>. 未參與該研究的新加 ...

癌細胞為啥“老不死”?科學家發現一種關鍵酶,有望開闢抗癌新療法

癌細胞為啥“老不死”?科學家發現一種關鍵酶,有望開闢抗癌新療法
圖片來源@視覺中國 文丨學術頭條,作者丨庫珀,編審丨寇建超 細胞衰老是指一種穩定的細胞生長阻滯狀態,並伴有形態.生化及表觀遺傳的改變,腫瘤組織惡變前常可檢測到衰老細胞的存在. 長期以來,許多科學家認為 ...

「Nature」Legend Biotech加強研發靶向細胞療法,促進腫瘤學發展

「Nature」Legend Biotech加強研發靶向細胞療法,促進腫瘤學發展
本文為轉化醫學網原創,轉載請註明出處 作者:Tiffany 導讀:靶向細胞療法是一種生物免疫治療方法,它是現在最先進.最具有前景的生物細胞診療技術,可以直接或者間接殺死病毒,並且能夠激發自身的免疫功能 ...

靶向藥為什麼這麼貴?在我國,哪些癌症靶向藥已經列入醫保?

靶向藥為什麼這麼貴?在我國,哪些癌症靶向藥已經列入醫保?
靶向藥是很多癌症病人的救命藥.雖然國內已經有很多靶向藥納入了醫保,但很多靶向藥仍然需要自費,一個月幾萬.一年百萬的比比皆是. 靶向藥究竟為什麼這麼貴?在我國,哪些癌症靶向藥已經列入醫保了呢? 靶向藥為 ...

王清雷:周代禮樂制度視野下的編鐘

王清雷:周代禮樂制度視野下的編鐘
顧羽佳/整理 編鐘是周代禮樂重器,其地位高貴.規模龐大.工藝複雜,更有著世上獨有的"一鍾雙音"高科技,堪稱"中國古代樂器之王".中國藝術研究院<中國音樂文 ...

二甲雙胍,又發現多個新作用
來源 | 賽柏藍/內分泌時間 編輯 | 顏色 二甲雙胍,每月一誇,這次可能又有新作用了.需要注意的是,非適應症人群服用有血糖降低威脅身體健康的危險,千萬不要擅自使用 01 發現多個新作用 近日,據微信 ...

「ESMO2021」消化道腫瘤多項研究為中國帶來新標準方案

「ESMO2021」消化道腫瘤多項研究為中國帶來新標準方案
*僅供醫學專業人士閱讀參考 ESMO消化道腫瘤前沿進展,帶給你新思考. 2021年歐洲腫瘤內科學會(ESMO)大會於9月16日-21日在線上舉行.作為歐洲最負盛名和最具影響力的腫瘤學會議,ESMO已成 ...

國際慢粒日:從“不治之症”到可治“慢病”慢粒靶向治療迎突破進展
中新網北京9月22日電 (記者 餘湛奕)9月22日是國際慢粒日,值此之際,北京大學人民醫院血液科副主任江倩教授表示,隨著現代醫學的不斷髮展,慢粒已經從"不治之症"轉變為可治可控的& ...

深度|273天建成的“烏鎮之光”超算中心見證了怎樣的桐鄉速度?會帶來哪些新飛躍?
來源:新藍網 今天上午,世界網際網路大會永久舉辦地--桐鄉烏鎮,"烏鎮之光"超算中心落成儀式在這裡舉行. 計算力就是生產力,超級計算機被譽為"計算機中的珠穆朗瑪峰&quo ...

有一種腫瘤會“吃空”骨頭

有一種腫瘤會“吃空”骨頭
來源:生命時報 中青年關節疼痛腫脹應警惕骨鉅細胞瘤 中南大學湘雅醫院骨科副主任醫師 吳建煌 今年的奧運會場有個特殊的媒體人--徐莉佳.她曾於 2012年倫敦奧運會上贏得我國帆船領域歷史首金,不僅開創了 ...

住院、死亡風險降低一半?抗新冠病毒口服藥研發有新進展

住院、死亡風險降低一半?抗新冠病毒口服藥研發有新進展
日前,美國製藥公司默沙東宣佈,他們與Ridgeback合作開發的口服抗新冠病毒藥物莫努匹韋(molnupiravir)在三期臨床試驗中,輕中度患者的住院或死亡風險降低了50%.默沙東計劃向美國食品藥品 ...