鴻蒙OS 4.0公測(cè)機(jī)型公布：甚至連nova6都支持
華為全新的HarmonyOS 4.0操作系統(tǒng)將于今天下午正式登場(chǎng)，官方在發(fā)布會(huì)之前也已經(jīng)正式給出了可升級(jí)的機(jī)型產(chǎn)品，這意味著這些機(jī)型會(huì)率先支持升級(jí)享用。這次的HarmonyOS 4.0支持
對(duì)我們很多人來(lái)說(shuō)，每天都需要處理大量的文件。當(dāng)收到一份新文件時(shí)，我們通常希望文件包含一個(gè)簡(jiǎn)要的要點(diǎn)總結(jié)，以便用戶最快的了解文件內(nèi)容。然而，編寫文檔摘要是一項(xiàng)具有挑戰(zhàn)性、耗時(shí)的工作。
為了解決這個(gè)問(wèn)題，谷歌宣布 Google Docs 現(xiàn)在可以自動(dòng)生成建議，以幫助文檔編寫者創(chuàng)建內(nèi)容摘要。這一功能是通過(guò)機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)的，該模型能夠理解文本內(nèi)容，生成 1-2 句自然語(yǔ)言文本描述。文檔編寫者對(duì)文檔具有完全控制權(quán)，他們可以全部接收模型生成的建議，或者對(duì)建議進(jìn)行必要的編輯以更好地捕獲文檔摘要，又或者完全忽略。
用戶還可以使用此功能，對(duì)文檔進(jìn)行更高層次的理解和瀏覽。雖然所有用戶都可以添加摘要，但自動(dòng)生成建議目前僅適用于 Google Workspace 企業(yè)客戶（Google Workspace 是 Google 在訂閱基礎(chǔ)上提供的一套云計(jì)算生產(chǎn)力和協(xié)作軟件工具和軟件）。基于語(yǔ)法建議、智能撰寫和自動(dòng)更正，谷歌認(rèn)為這是改善工作場(chǎng)所書面交流又一有價(jià)值的研究。
如下圖所示：當(dāng)文檔摘要建議可用時(shí)，左上角會(huì)出現(xiàn)一個(gè)藍(lán)色的摘要圖標(biāo)。然后，文檔編寫者可以查看、編輯或忽略建議的文檔摘要。
模型細(xì)節(jié)
過(guò)去五年，特別是 Transformer 和 Pegasus 的推出，ML 在自然語(yǔ)言理解 (NLU) 和自然語(yǔ)言生成 (NLG)方面產(chǎn)生巨大影響。
然而生成抽象文本摘需要解決長(zhǎng)文檔語(yǔ)言理解和生成任務(wù)。目前比較常用的方法是將 NLU 和 NLG 結(jié)合，該方法使用序列到序列學(xué)習(xí)來(lái)訓(xùn)練 ML 模型，其中輸入是文檔詞，輸出是摘要詞。然后，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將輸入 token 映射到輸出 token。序列到序列范式的早期應(yīng)用將 RNN 用于編碼器和解碼器。
Transformers 的引入為 RNN 提供了一個(gè)有前途的替代方案，因?yàn)?Transformers 使用自注意力來(lái)提供對(duì)長(zhǎng)輸入和輸出依賴項(xiàng)的更好建模，這在文檔中至關(guān)重要。盡管如此，這些模型仍需要大量手動(dòng)標(biāo)記的數(shù)據(jù)才能充分訓(xùn)練，因此，僅使用 Transformer 不足以顯著提升文檔摘要 SOTA 性能。
Pegasus 的研究將這一想法又向前推進(jìn)了一步， 該方法是在論文《PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization 》中提出，通過(guò)引入一個(gè)預(yù)訓(xùn)練目標(biāo)自定義來(lái)抽象摘要。在 Pegasus 預(yù)訓(xùn)練中，也被稱為 GSP（Gap Sentence Prediction ），未標(biāo)記的新聞消息和網(wǎng)絡(luò)文檔中的完整句子在輸入中被 mask 掉，模型需要根據(jù)未被 mask 掉的句子重建它們。特別是，GSP 試圖通過(guò)不同的啟發(fā)式把對(duì)文檔至關(guān)重要的句子進(jìn)行 mask。目標(biāo)是使預(yù)訓(xùn)練盡可能接近摘要任務(wù)。Pegasus 在一組不同的摘要數(shù)據(jù)集上取得了 SOTA 結(jié)果。然而，將這一研究進(jìn)展應(yīng)用到產(chǎn)品中仍然存在許多挑戰(zhàn)。
PEGASUS 基礎(chǔ)架構(gòu)是標(biāo)準(zhǔn)的 Transformer 編碼器 - 解碼器。
將最近的研究進(jìn)展應(yīng)用到 Google Docs數(shù)據(jù)
自監(jiān)督預(yù)訓(xùn)練生成的 ML 模型具有通用的語(yǔ)言理解和生成能力，但接下來(lái)的微調(diào)階段對(duì)于該模型適應(yīng)于應(yīng)用領(lǐng)域至關(guān)重要。谷歌在一個(gè)文檔語(yǔ)料庫(kù)中對(duì)模型早期版本進(jìn)行了微調(diào)，其中手動(dòng)生成的摘要與典型用例保持一致。但是，該語(yǔ)料庫(kù)的一些早期版本出現(xiàn)了不一致和較大變動(dòng)，其原因在于它們包含了很多類型的文檔以及編寫摘要的不同方法，比如學(xué)術(shù)摘要通常篇幅長(zhǎng)且詳細(xì)，而行政摘要簡(jiǎn)短有力。這導(dǎo)致模型很容易混淆，因?yàn)樗窃陬愋投鄻拥奈臋n和摘要上訓(xùn)練的，導(dǎo)致很難學(xué)習(xí)彼此之間的關(guān)系。
幸運(yùn)的是，谷歌開(kāi)源 Pegasus 庫(kù)（用于自動(dòng)生成文章摘要）中的關(guān)鍵發(fā)現(xiàn)之一是：有效的預(yù)訓(xùn)練階段在微調(diào)階段需要更少的監(jiān)督數(shù)據(jù)。一些摘要生成基準(zhǔn)只需要 1000 個(gè) Pegasus 的微調(diào)示例即能媲美需要 10000 + 監(jiān)督示例的 Transformer 基線性能，這表明我們可以專注于模型質(zhì)量而非數(shù)量。
谷歌精心地清理和過(guò)濾了微調(diào)數(shù)據(jù)，以包含更一致且更代表連貫摘要的訓(xùn)練示例。盡管訓(xùn)練數(shù)據(jù)量減少了，但生成了更高質(zhì)量的模型。正如數(shù)據(jù)集蒸餾等其他領(lǐng)域最近的工作一樣，我們可以得到以下這個(gè)重要教訓(xùn)，即更小的高質(zhì)量數(shù)據(jù)集要優(yōu)于更大的高方差數(shù)據(jù)集。
服務(wù)
一旦訓(xùn)練了高質(zhì)量模型，谷歌轉(zhuǎn)向解決在生產(chǎn)中為模型提供服務(wù)時(shí)面臨的挑戰(zhàn)。Transformer 版本的編碼器 - 解碼器架構(gòu)是為摘要生成等序列到序列任務(wù)訓(xùn)練模型的主流方法，但該方法在實(shí)際應(yīng)用中提供服務(wù)時(shí)效率低且不實(shí)用。效率低主要?dú)w咎于 Transformer 解碼器，它利用自回歸解碼來(lái)逐 token 地生成輸出摘要。當(dāng)摘要更長(zhǎng)時(shí)，解碼過(guò)程變得很慢，這是因?yàn)榻獯a器在每一步都要處理之前生成的所有 token。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是更高效的解碼架構(gòu)，這得益于它不像 Transformer 模型那樣對(duì)之前的 token 施加自注意力。
谷歌使用知識(shí)蒸餾（將知識(shí)從大模型遷移到更小更高效模型的過(guò)程）將 Pegasus 模型提煉為包含 Transformer 編碼器和 RNN 解碼器的混合架構(gòu)。為了提高效率，谷歌還減少了 RNN 解碼器層的數(shù)量。生成的模型在延遲和內(nèi)存占用方面有顯著改善，而質(zhì)量仍與原始模型相當(dāng)。為了進(jìn)一步改善延遲和用戶體驗(yàn)，谷歌使用 TPU 為摘要生成模型服務(wù)，這實(shí)現(xiàn)了顯著加速并允許單臺(tái)機(jī)器處理更多請(qǐng)求。
持續(xù)的挑戰(zhàn)
雖然谷歌對(duì)迄今為止取得的進(jìn)展感到興奮，但仍要繼續(xù)應(yīng)對(duì)以下一些挑戰(zhàn)：
文檔覆蓋率：由于文檔之間存在顯著差異，因此在微調(diào)階段開(kāi)發(fā)一組文檔很難。推理階段也存在同樣的挑戰(zhàn)。此外，谷歌用戶創(chuàng)建的一些文檔（如會(huì)議記錄、食譜、課程計(jì)劃和簡(jiǎn)歷）不適合總結(jié)或難以總結(jié)。
評(píng)估：抽象摘要需要捕捉文檔的本質(zhì)，保持流暢且語(yǔ)法正確。一個(gè)特定的文檔可能存在許多可被認(rèn)為正確的摘要，不同的用戶也可能喜歡不同的摘要。這使得僅使用自動(dòng)指標(biāo)評(píng)估摘要變得困難，用戶反饋和使用情況統(tǒng)計(jì)對(duì)于谷歌理解和不斷提高模型質(zhì)量至關(guān)重要。
長(zhǎng)文檔：模型最難生成長(zhǎng)文檔的摘要，因?yàn)樗y捕獲所有要點(diǎn)并抽象（總結(jié)）在一個(gè)摘要中。此外，長(zhǎng)文檔的訓(xùn)練和服務(wù)期間內(nèi)存占用顯著增加。但是，長(zhǎng)文檔對(duì)于模型自動(dòng)生成摘要這一任務(wù)而言可能最有用，因?yàn)樗梢詭椭臋n編寫者在這項(xiàng)繁瑣的任務(wù)中搶占先機(jī)。谷歌希望可以應(yīng)用最新的 ML 進(jìn)展來(lái)更好地應(yīng)對(duì)這一挑戰(zhàn)。
本文鏈接：http://www.yifxia.cn/showinfo-119-2236-0.html谷歌Docs，現(xiàn)在已經(jīng)可以自動(dòng)生成文本摘要了！
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)