<address id="vfnhz"></address>

    <address id="vfnhz"><form id="vfnhz"><nobr id="vfnhz"></nobr></form></address>

    <address id="vfnhz"><address id="vfnhz"><listing id="vfnhz"></listing></address></address>

          <address id="vfnhz"></address>
          首頁 > 熱點
          01版要聞 - 改善消費條件 增強消費后勁(走進市場看信心)
          發布日期:2023-08-21 19:57:29
          瀏覽次數:876

          來源標題:懂代碼、懂代的理會數學、數學重邏輯,重邏01版要聞 - 改善消費條件 增強消費后勁(走進市場看信心)訊飛星火被MIT科技評論評為“最聰明的輯訊技評理科生”

          國內“千模大戰”下,誰是飛星最聰明的大模型?《麻省理工科技評論》中國最新發布的大模型評測報告給出了答案。

          報告顯示,火被在8個一級大類的科科生600道題目的測試和盲評中,訊飛星火認知大模型V2.0在6個大類中得分率排名第一,論評在此次評測中表現突出,為最以 81.5 分(百分制計)的聰明成績在本次評測中登頂,榮獲“最聰明”的懂代的理國產大模型稱號。

          圖:大模型評測綜合得分率

          圖:4個大模型各項能力雷達圖

          《麻省理工科技評論》中國從研發和商業化能力、數學外界態度以及發展趨勢等維度全方位檢測大模型的重邏能力,力圖評出“最聰明”的輯訊技評國產大模型。選取了“訊飛星火”、飛星“百度文心一言”、“商湯商量”、“阿里通義千問”作為中文大模型平臺的代表,展開系統、科學的評測。

          本次評測使用的測試集包含600道題目,覆蓋了語言專項、數學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類,126 個二級分類,290 個三級標簽,并針對問題的豐富性和多樣性做了優化。

          在題目類型上,為了兼顧定量、定性的評價與測試,設置了“單選”、01版要聞 - 改善消費條件 增強消費后勁(走進市場看信心)“多選”、“填空”、“簡答”4個題型,分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式,客觀評估國產大模型的聰明程度。

          作為“最聰明”的大模型的基礎能力,語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結、情感分析、語義判斷等 61 個二級分類,題型則以簡答為主。結果顯示,訊飛星火 85.73%的得分率排名第一,明顯高于平均值。

          圖:語言專項評測得分率

          數學專項評測,是“最聰明”大模型必不可少的評測維度。本次評測包含代數、幾何、解方程、復雜數學、統計學等 9 個二級分類,以選擇題為主。

          其中,訊飛星火以 77.75% 的得分率名列第一,遠高于平均得分率 56%,其他平臺得分率基本相當。報告稱,在大模型普遍“數學不好”的情況下,訊飛星火這一成績頗為難得,其在數學專項上的領先同樣體現在二級分類的評分結果上,在 77.8%的二級分類中得分率第一,遠超其他平臺,初步判斷其擅長幾何與情景應用。

          圖:數學專項評測得分率

          作為體現大模型“聰明程度”不可或缺的“硬核”部分,理科綜合評測包含表格問答、化學、生物、物理、醫學 5 個二級分類,題型上以單選和簡答為主。

          評測結果中,訊飛星火 78.50% 的得分率排名第一。另外,訊飛星火在理科綜合大類下 80% 的二級分類評測中得分率為第一,化學與生物較為突出。 

          圖:理科綜合評測得分率

          邏輯思維也是“最聰明”大模型的重要體現,本次邏輯思維評測在邏輯推理、思維鏈等方面設計了較多的題目,包含類比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等 19 個二級分類,題型上相對平均,其中填空題最多,多選題最少。

          在邏輯思維題目中,訊飛星火 81.25%的得分率名列第一,明顯高于 72.6% 的平均值。此外,訊飛星火在邏輯思維 63.2% 的二級分類問題上得分率第一。邏輯思維對于大模型真正理解物理世界相當重要。

          圖:邏輯思維評測得分率

          編程能力是大模型比較高階的能力,本次的編程能力評測包含 ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機 6 個二級分類,其中 Python 主要以簡答形式評估大模型的代碼生成能力和正確率,其他則以客觀題的形式考察。

          結果顯示,訊飛星火 80% 的得分率明顯高于 71%的平均值,其他平臺得分率基本相當。值得一提的是,在許多人關心的生成代碼的簡答題單項上,訊飛星火的得分率高達 82%,遠高于其他平臺,表現頗為亮眼。

          圖:編程能力評測綜合得分率

          作為比較難的評測維度,綜合知識對大模型的“聰明”程度要求也很高,涉及的題目較雜,包含百科問答、常識、科學知識、事實問答、工作技巧、謎語等 13 個二級分類,題型以多選為主。

          在綜合知識評測上,訊飛星火 80.61% 的得分率排名第一,在 84.6% 的二級分類上得分率第一,初步顯示出在百科問答和歷史人文上的“過人之處”。

          圖:綜合知識評測得分率

          報告指出,在本輪大模型評測中,訊飛星火以 81.5 分的成績拔得頭籌,成為“最聰明”的國產大模型。

          訊飛星火在編程能力、理科綜合、邏輯思維、數學專項、語言專項和綜合知識這 6 個一級大類中得分率排名第一,在此次評測中表現十分全面,尤其是在代碼生成、數學能力、理科與邏輯等方面優勢明顯,是本次“最聰明的理科生”。

          值得一提的是,從題型角度來看,主觀簡答題中訊飛星火憑借 83.98% 的得分率位居第一;而在客觀題上,訊飛星火以 75.7% 的得分率排名第一,在主客觀體型中均有良好表現。

          此外,就在8月12日,新華社研究院中國企業發展研究中心發布的《人工智能大模型體驗報告2.0》中,訊飛星火V1.5以總分1013分位列本次國產主流大模型測評榜首位,在四大評測維度中的智商指數和工具提效指數兩個維度獲得第一,《報告》認為訊飛星火“在工作提效方面優勢明顯”。

          在剛剛過去的8月15日,訊飛星火認知大模型V2.0如期發布,進一步突破代碼能力和多模態能力。技術獲得重大突破的同時,搭載訊飛星火V2.0核心能力的應用和產品也越來越豐富:既有輔助程序員高效工作的智能編碼助手iFlyCode1.0、能夠進行視頻創作的訊飛智作2.0、能夠便捷搭建輕應用的教育數字基座應用開發助手,還有幫助教師設計教學活動、一鍵生成課件的星火教師助手、面向英語學習者口語練習的星火語伴2.0,訊飛AI學習機也升級AI 1對1智能編程助手和AI 1對1創意繪畫伙伴。此外,科大訊飛還和華為聯合發布星火一體機,讓每一家企業都有機會構建專屬大模型。

          國內“千模大戰”下,誰是最聰明的大模型?《麻省理工科技評論》中國最新發布的大模型評測報告給出了答案。

          報告顯示,在8個一級大類的600道題目的測試和盲評中,訊飛星火認知大模型V2.0在6個大類中得分率排名第一,在此次評測中表現突出,以 81.5 分(百分制計)的成績在本次評測中登頂,榮獲“最聰明”的國產大模型稱號。

          圖:大模型評測綜合得分率

          圖:4個大模型各項能力雷達圖

          《麻省理工科技評論》中國從研發和商業化能力、外界態度以及發展趨勢等維度全方位檢測大模型的能力,力圖評出“最聰明”的國產大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問”作為中文大模型平臺的代表,展開系統、科學的評測。

          本次評測使用的測試集包含600道題目,覆蓋了語言專項、數學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類,126 個二級分類,290 個三級標簽,并針對問題的豐富性和多樣性做了優化。

          在題目類型上,為了兼顧定量、定性的評價與測試,設置了“單選”、“多選”、“填空”、“簡答”4個題型,分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式,客觀評估國產大模型的聰明程度。

          作為“最聰明”的大模型的基礎能力,語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結、情感分析、語義判斷等 61 個二級分類,題型則以簡答為主。結果顯示,訊飛星火 85.73%的得分率排名第一,明顯高于平均值。

          圖:語言專項評測得分率

          數學專項評測,是“最聰明”大模型必不可少的評測維度。本次評測包含代數、幾何、解方程、復雜數學、統計學等 9 個二級分類,以選擇題為主。

          其中,訊飛星火以 77.75% 的得分率名列第一,遠高于平均得分率 56%,其他平臺得分率基本相當。報告稱,在大模型普遍“數學不好”的情況下,訊飛星火這一成績頗為難得,其在數學專項上的領先同樣體現在二級分類的評分結果上,在 77.8%的二級分類中得分率第一,遠超其他平臺,初步判斷其擅長幾何與情景應用。

          圖:數學專項評測得分率

          作為體現大模型“聰明程度”不可或缺的“硬核”部分,理科綜合評測包含表格問答、化學、生物、物理、醫學 5 個二級分類,題型上以單選和簡答為主。

          評測結果中,訊飛星火 78.50% 的得分率排名第一。另外,訊飛星火在理科綜合大類下 80% 的二級分類評測中得分率為第一,化學與生物較為突出。 

          圖:理科綜合評測得分率

          邏輯思維也是“最聰明”大模型的重要體現,本次邏輯思維評測在邏輯推理、思維鏈等方面設計了較多的題目,包含類比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等 19 個二級分類,題型上相對平均,其中填空題最多,多選題最少。

          在邏輯思維題目中,訊飛星火 81.25%的得分率名列第一,明顯高于 72.6% 的平均值。此外,訊飛星火在邏輯思維 63.2% 的二級分類問題上得分率第一。邏輯思維對于大模型真正理解物理世界相當重要。

          圖:邏輯思維評測得分率

          編程能力是大模型比較高階的能力,本次的編程能力評測包含 ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機 6 個二級分類,其中 Python 主要以簡答形式評估大模型的代碼生成能力和正確率,其他則以客觀題的形式考察。

          結果顯示,訊飛星火 80% 的得分率明顯高于 71%的平均值,其他平臺得分率基本相當。值得一提的是,在許多人關心的生成代碼的簡答題單項上,訊飛星火的得分率高達 82%,遠高于其他平臺,表現頗為亮眼。

          圖:編程能力評測綜合得分率

          作為比較難的評測維度,綜合知識對大模型的“聰明”程度要求也很高,涉及的題目較雜,包含百科問答、常識、科學知識、事實問答、工作技巧、謎語等 13 個二級分類,題型以多選為主。

          在綜合知識評測上,訊飛星火 80.61% 的得分率排名第一,在 84.6% 的二級分類上得分率第一,初步顯示出在百科問答和歷史人文上的“過人之處”。

          圖:綜合知識評測得分率

          報告指出,在本輪大模型評測中,訊飛星火以 81.5 分的成績拔得頭籌,成為“最聰明”的國產大模型。

          訊飛星火在編程能力、理科綜合、邏輯思維、數學專項、語言專項和綜合知識這 6 個一級大類中得分率排名第一,在此次評測中表現十分全面,尤其是在代碼生成、數學能力、理科與邏輯等方面優勢明顯,是本次“最聰明的理科生”。

          值得一提的是,從題型角度來看,主觀簡答題中訊飛星火憑借 83.98% 的得分率位居第一;而在客觀題上,訊飛星火以 75.7% 的得分率排名第一,在主客觀體型中均有良好表現。

          此外,就在8月12日,新華社研究院中國企業發展研究中心發布的《人工智能大模型體驗報告2.0》中,訊飛星火V1.5以總分1013分位列本次國產主流大模型測評榜首位,在四大評測維度中的智商指數和工具提效指數兩個維度獲得第一,《報告》認為訊飛星火“在工作提效方面優勢明顯”。

          在剛剛過去的8月15日,訊飛星火認知大模型V2.0如期發布,進一步突破代碼能力和多模態能力。技術獲得重大突破的同時,搭載訊飛星火V2.0核心能力的應用和產品也越來越豐富:既有輔助程序員高效工作的智能編碼助手iFlyCode1.0、能夠進行視頻創作的訊飛智作2.0、能夠便捷搭建輕應用的教育數字基座應用開發助手,還有幫助教師設計教學活動、一鍵生成課件的星火教師助手、面向英語學習者口語練習的星火語伴2.0,訊飛AI學習機也升級AI 1對1智能編程助手和AI 1對1創意繪畫伙伴。此外,科大訊飛還和華為聯合發布星火一體機,讓每一家企業都有機會構建專屬大模型。

          上一篇:滬深北交易所進一步降低證券交易經手費
          下一篇:策展人詳解:名畫中折射的維多利亞時代變遷
          相關文章