微軟宣布了一種新的對話式問答模型，該模型優於其他方法，可以更快、更準確地回答問題，並且使用更少的資源。
他們提出了一種對內容段落進行分類的新方法，即使用他們所謂的會話問答生成檢索（GCoQA）。
研究人員寫道，下一個方向是探索如何將其用於一般網絡搜索。
用於回答對話問題的生成檢索
自回歸語言模型可以預測下一個單詞或短語是什麼。
該模型使用自回歸模型，該模型使用“標識符字符串”，用簡單的英語來說，它是文檔中段落的表示。
在此實現中，他們使用頁面標題（用於標識頁面的內容）和部分標題（用於標識一段文本的內容）。
該實驗是使用維基百科的數據進行的，其中頁面和章節標題可以相信是描述性的。
它們用於識別文檔的主題以及文檔的某個部分中包含的段落的主題。
因此，如果在現實世界中使用，就像使用標題元素來了解網頁的內容，使用標題來了解網頁的各個部分的內容。
“標識符”是將所有這些知識編碼為表示的一種方式，分配給網頁段落和標題。
然後將檢索到的段落放入另一個自回歸模型中以生成問題的答案。
生成恢復
對於檢索部分，該研究論文表示，該模型使用一種稱為“束搜索”的技術來生成標識符（網頁段落的表示），然後按照它們成為答案的可能性進行排序。
研究人員寫道：
“……我們使用波束搜索……一種常用的技術，來生成多個標識符而不是一個。
每個生成的標識符都分配有一個語言模型分數，這使我們能夠根據這些分數獲得生成的標識符的排名列表。
分類標識符自然可以對應於段落的分類列表。”
研究論文接著說，這個過程可以被視為“分層搜索”。
在這種情況下，分層意味著首先按頁面主題排序結果，然後按頁面內的段落（使用章節標題）排序。
一旦檢索到這些段落，另一個自回歸模型就會根據檢索到的段落生成響應。
與其他方法的比較
研究人員發現，GCoQA 的性能優於許多其他常用的與之進行比較的方法。
它對於克服其他方法的限制（瓶頸）很有用。
從很多方面來說，這種新模型有望給對話式問答帶來深刻的變化。
例如，它使用的內存資源量是當前型號的 1/10，這在效率上是一個巨大的飛躍，而且速度也更快。
研究人員寫道：
“……在實踐中應用我們的方法變得更加方便和高效。”
微軟研究人員後來得出結論：
“通過利用解碼器模塊中的高端交叉交互，GCoQA 可以更有效地關注對話的上下文。
此外，GCoQA 在實踐中具有更低的內存消耗和更高的推理效率。”
GCoQA 的局限性
然而，在應用該模型之前，需要解決一些限制。
他們發現，GCoQA 由於使用了“集束搜索”技術而存在局限性，這限制了 GCoQA 記住“大規模段落”的能力。
增加光束尺寸也無濟於事，因為它會減慢模型速度。
另一個限制是，雖然維基百科在以有意義的方式使用標題方面是可靠的。
但在維基百科之外的網頁上使用它可能會導致模型遇到障礙。
互聯網上的許多網頁在使用章節標題準確指示段落內容方面做得很差（這是 SEO 和編輯應該做的）。
研究論文指出：
“GCoQA 的泛化是一個合理的擔憂。
GCoQA 嚴重依賴問題和段落標識符之間的語義關係來檢索相關段落。
儘管 GCoQA 已使用三個學術數據集進行了評估，但其在現實場景中的有效性仍然不確定，因為現實場景中的問題通常不明確且難以匹配標識符，因此需要進一步調查。”
GCoQA 是一項有前途的新技術
最終，研究人員表示，性能提升是一個巨大的勝利。 限制是需要克服的。
該研究論文的結論是，有兩個有希望的進一步研究領域：
“（1）調查生成檢索在更一般的網絡搜索場景中的使用，其中標識符無法直接從標題中獲得；（2）檢查段落檢索和答案預測在“獨特的生成模型中的集成，以更好地理解其內部關係”。
GCoQA 的價值
一位研究科學家在 GitHub 上發表了該研究論文（對話問答的生成檢索）。
請訪問此 GitHub 頁面以獲取 PDF 鏈接。
有時，研究論文會在付費專區後消失，因此無法保證它們將來仍然可用。
GCoQA 可能不會很快出現在搜索引擎中。
GCoQA 的價值在於，它展示了研究人員如何努力尋找使用生成模型來改變我們今天所知的網絡搜索的方法。
這可能是搜索引擎在不久的將來的樣子的預覽。
閱讀公告和研究論文摘要：
用於回答對話問題的生成檢索
精選圖片由 Shutterstock/Sundry Photography 提供
