內容行業大變天，爆款全靠AI？
出品 | 微果醬（wjam123456）作者 | 陳出木題圖 | 文心一格 AI的發展之快出乎所有人的預料，似乎一夜之間便呼嘯而來。無論是資本的風向標，抑或是生活工作的輔助、流量口，還是茶余飯
5月17日消息，谷歌在其I/O開發者大會上發布了最新的通用大語言模型PaLM2。據ITBEAR科技資訊了解，該模型的訓練數據幾乎是其上一代模型的5倍，達到了3.6萬億個令牌。PaLM2在編程、數學和創意寫作方面表現更為優秀，得益于其龐大的訓練數據。
谷歌此次發布的PaLM2模型采用了比之前版本多得多的令牌進行訓練。令牌是指訓練大語言模型所使用的單詞串，它們對于教導模型如何預測字符串中可能出現的下一個單詞至關重要。內部文件顯示，2022年發布的上一代模型PaLM僅使用了7800億個令牌，而PaLM2則提升到了3.6萬億個令牌。
盡管谷歌希望展示其人工智能技術的實力，并在搜索、電子郵件、字處理和電子表格等領域實現更高效的應用，但該公司并未公開披露訓練數據的具體規模和其他細節。與谷歌類似，微軟支持的OpenAI也對其最新的GPT-4大語言模型保密了細節信息。這兩家公司之所以保密，是因為它們都希望吸引那些希望通過聊天機器人直接獲取答案的用戶，從而在商業競爭中占據優勢。
然而，隨著人工智能軍備競賽的白熱化，一些研究人員呼吁企業增加透明度。雖然谷歌聲稱新模型比之前的大語言模型更小，但其技術效率卻得到提升，能夠完成更復雜的任務。根據內部文件顯示，PaLM2是基于3400億個參數進行訓練的，而初始版本的PaLM則基于5400億個參數。
據谷歌在一篇關于PaLM2的博文中介紹，該模型采用了一種名為“計算機優化擴張”的新技術，使得大語言模型具備更高的效率和整體性能，包括加快推理速度、減少參數調用和降低服務成本。
此次發布的PaLM2模型針對100種語言進行了訓練，能夠執行更廣泛的任務，并已被應用于谷歌的25個功能和產品，包括實驗性聊天機器人Bard。PaLM2共有四個規模，從小到大分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。
根據公開披露的信息來看，PaLM2比現有的任何模型都更加強大。Facebook在今年2月宣布的LLaMA大語言模型僅采用了1.4萬億個令牌進行訓練。而OpenAI在披露GPT-3訓練規模時表示，其當時基于3000億個令牌進行訓練。今年3月，OpenAI發布GPT-4時宣稱其在許多專業測試中展示出與人類媲美的表現。
LaMDA是谷歌兩年前推出的對話型大語言模型，今年2月與Bard一同亮相。該模型基于1.5萬億個令牌進行訓練。
隨著新的人工智能應用快速進入主流，圍繞底層技術的爭議也日益激烈。谷歌高級研究科學家艾爾·邁赫迪·艾爾·麥哈麥迪(El Mahdi ElMhamdi)今年2月辭職，其中一個主要原因是人工智能技術缺乏透明度。本周二，OpenAI的CEO山姆·阿爾特曼(SamAltman)在美國國會舉行的隱私和技術聽證會上表示，我們需要建立一套新的制度來應對人工智能潛在的問題。
阿爾特曼說：“對于一種全新的技術，我們需要一套全新的框架。當然，像我們這樣的公司應當為我們推出的工具承擔許多責任。”
本文鏈接：http://www.yifxia.cn/showinfo-45-1448-0.html谷歌發布最新通用大語言模型PaLM2，訓練數據達3.6萬億個令牌
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號