王者Claude地位不穩了??大模型競技場最新戰報出爐,DeepSeek新版R1拿下網頁編程第一,小勝ClaudeOpus4。要知道ClaudeOpus4可是公認的“全球最強編碼模型”。so,能在編程上戰勝ClaudeOpus4,DeepSeek-R1-0528到底啥來頭?看名字你可能以為是個小版本更新,但實際上——它在LiveCodeBench上幾乎與OpenAIo3-high相當,乃至一眾網友猜測其為傳說中的R2。這樣一看,在編程這一項上,雙方貌似都不太好惹~所以話不多說,咱們還是一手實測DeepSeek-R1-0528,康康究竟有多強。
實測一下目前DeepSeek-R1-0528已上線DeepSeek官方網站、App和小程序(打開深度思考)。這里咱們直接進入官網體驗。
測試1:制作一個太陽系的動畫應用程序提示詞如下:制作一個太陽系的動畫應用程序,使用網絡搜索。
僅思考49秒后,DeepSeek-R1-0528就給出了一段python代碼。用VSCode運行后,結果如下:出現了能自主運行的動畫,不過頁面相對粗糙。不過呢,如果換成其他提示詞,效果則明顯不一樣了。用Three.js模擬太陽系,鼠標懸停在星球上時顯示星球名稱。
僅用時34秒,DeepSeek-R1-0528就理清楚了設計思路:關鍵是這一次能直接一鍵運行了,無需再單獨打開自己的編輯器。(運行功能感覺像開盲盒,不一定都會出現)而且同樣有動畫、能交互,效果直接進入NextNevel~測試2:前端網頁制作接下來我們要求DeepSeek生成一個主題為AGI的網站,提示詞如下:請設計一個以通用人工智能(AGI)為主題的網頁,包含“知識共享”、“社區”和“未來創造”三個概念部分。每個部分應配有相應的圖標和簡潔描述,整體風格現代且科技感十足,突出AGI的創新和協作精神。使用HTML、CSS和JavaScript實現交互和視覺特效。
思考23秒后,DeepSeek-R1-0528后續給出了一段HTML代碼,依舊能一鍵運行。
測試3:創建一個俄羅斯方塊小游戲最后我們試試英文提示詞:Createafullfeaturedversionoftetriswithbeautifulgraphicsandcontrols.創建一個具有精美圖形和控制功能的完整版俄羅斯方塊??梢钥吹?,DeepSeek-R1-0528思考12秒后就給出了一段python代碼。
運行結果belike:雖然確實是俄羅斯方塊小游戲,但基本演示存在明顯bug,而且缺少交互按鈕。
不死心的我們嘗試讓DeepSeek繼續改進,結果第二次還是翻車了。
改進后的游戲依舊無法正常運行(總是穿墻而過),且未實現我們明確要求的交互功能。
小結一下,從以上簡單實測來看,DeepSeek新版R1作為一款開源模型,在編程能力上確實大有進步,但仍有一定提升空間。不過有一說一,它對咱們國內普通用戶明顯更友好(相對Claude模型來說免費又易于獲?。?。
OneMoreThing除了編程能力榜單更新,DeepSeek新版R1還當選了當前最好的開源文本模型。
MIT許可證下,總榜第六,開源當中第一。
而在細分領域,它在困難提示方面排名第4,在數學方面排名第5,屬于開源模型中相當能打的玩家。不過值得一提的是,Kimi新模型剛剛拿下代碼開源SOTA——參數量僅72B的開源代碼模型Kimi-Dev,在SWE-benchVerified上以60.4%的成績取得開源SOTA。不僅編程水平比最新的DeepSeek-R1還強,和閉源模型比較也表現優異。
不知道其真實能力又如何呢(doge)~