DeepSeek剛火就要垮掉嗎？史上最通俗的AI科普！十分鐘搞懂中國Ai彎道超車的手段！ – YouTube Dictation Transcript & Vocabulary

1.最近中國的AI黑馬DeepSeek 可把咱國人給嗨翻了 有人說它搞崩了美國的股市 徹底實現了彎道超車 不過也有人表示不屑 說它不過是個抄襲騙局 吹的再高也會一拍即散 根本不值一提 網絡上的聲音非常兩極分化 要麽是吹得天花亂墜 要麽是嗤之以鼻 話說聊AI那麽高大上的東西 要是不搞清楚原理就瞎說 那肯定是耍流氓 可是如果聊的太學術吧 又會讓人覺得晦澀難懂 那DeepSeek到底是真厲害 還是被誇大 咱們今天就用最通俗易懂的語言 把它一次說透 首先要想聊明白AI啊 咱們還得先搞懂《大語言模型》這玩意 這麽說吧 當今市面上幾乎所有的大語言模型 像是什麽open AI的ChatGPT 谷歌的Gemini， Meta 的LLaMA 百度的文心一言 華為的盤古 還有咱們今天要說的DeepSeek 他們都來自同一個核心結構 名叫Transformer 就是變形金剛的英文Transformer Transformer這個概念啊 源自2017年的 來自谷歌團隊的一篇神論文 《Attention Is All You Need》 他的第一作者是一位印度裔科學家 名叫Ashish Vaswani Transformer最主要的原理名叫Self-Attention 自註意力機制 會先挑出一句話裏最關鍵的詞 再算算它們之間的關聯 最後再算出來整句話再說啥 OK我知道大家可能已經聽不下去了 我們下面開始說人話 假設有一句話 貓坐在墊子上 它很舒服 這裏的它指的是誰 對於咱們人類而言 很容易知道那就是貓嘛 可對於AI來說啊 卻曾經是一個千古難題 因為他根本就不理解 那要怎麽讓AI明白 到底是貓很舒服 還是墊子很舒服呢 其實啊在這段話裏出現了不少概念 有貓，墊子，坐，上，它，舒服等等 要想讓AI區分它們 就得先給每個詞都貼上性格標簽 那什麽是性格標簽呢 咱們先拿人來打個比方 大家想象一下 每個人都有不同性格特征對吧 可怎麽表示 能讓計算機區分不同性格的人呢 畢竟計算機只能看懂數字 於是啊咱們就給計算機 做一個簡單的數字圖表 比如內向這一維度 -1是最內向 0是中間 而一是最外向 以此類推 性格還有善良幽默直率等等 小明很外向0.8 比較善良0.6 有一點幽默 0.3 而老王呢 性格有點內向 是-0.2 ，但是他很幽默 是0.7 而且很直率 0.8 那麽這樣 我們就可以通過一組數字標簽 被稱作數值向量 讓計算機區分小明和老王誰是誰 畢竟計算機只認數字 不認人，同樣 那在Transformer處理語言的時候啊 他也要給每個英文單詞或是漢字 配上性格標簽 也就是剛才說的數值向量 那麽咱們再來看 剛才句子裏出現的那些詞匯 貓是動物0.9 他不是物品-0.8 有點感情0.6 體積不算大 0.3 墊子他不是動物-0.9 它是物品0.8 幾乎沒有情感0.1 它的動物屬性是0.5 物品屬性0.2 情感0 那麽有了這些所謂的數字 也就是數值向量 AI就可以知道貓和狗比較接近 跟墊子差的有點遠 還能明白 貓多少有點情感 墊子幾乎沒有情感 而舒服這種情感詞匯 更可能說的是貓 而不是墊子 於是啊這麽一個計算機 聽不懂人話的千古難題 就被這麽一堆數字的比對算法 給解決了 讓AI慢慢的具備了理解我們的能力 當然所謂的理解 這種擬人化的說法也只是個比喻 實際上模型並沒有自我意識 而是通過無數次的訓練叠代更新參數 逐漸學會了在向量空間中 表示貓，墊子等概念的差異 說人話就是IA僅僅理解一個單詞 就得需要大量的計算 那如果要是一句話一段話 或是一整篇文章呢 那不就得需要 指數級增長的海量計算嗎 那麽就到了下一步 模型訓練 大致啊我把它總結為四個步驟 第一步就是給所有的單詞自動編碼 前面咱們已經提到了計算機 它只認數字 不理解文字 於是啊 AI先把所有的單詞轉換成一組數值 嵌入向量 那麽這些向量並不是人類人工定好的 而是AI通過大規模的文本學習 對比後算出來的 在這個學習的過程中啊 AI可能會看到很多關於貓的句子 比如貓喜歡吃魚 貓和狗都是寵物 於是啊AI發現 貓和狗經常出現在類似的句子裏 那它們呢 可能具有相似的向量 貓和魚也會經常的出現在一起 那它們倆之間一定有某種特殊的聯系 那麽再說第二步 通過填空遊戲進行自監督學習 在這裏我必須強調 AI沒有老師告訴 它每個單詞的含義 而是自己通過填空遊戲來學習 那麽訓練AI的時候啊 AI它會在海量文本上做完形填空題 比如訓練數據貓在什麽什麽上面睡覺 AI可能會預測沙發，床，墊子概率比較高 而微波爐，冰箱概率比較低 但如果我們假設每次AI猜錯 它就會根據誤差調整內部的向量 也就是那個詞的標簽數字 讓下一次的預測更加的精準 就這麽反反復復 不斷考試 不斷改錯 AI一點點學會了人類語言的基本規律 那麽再說到第三步 自註意力機制 也就是開頭提到那篇神論文 Attention Is All You Need的核心 Self-Attention 能讓AI自動找出 句子中最相關的單詞 也就是我們剛才舉的那個例子 它指代的是誰 句子裏的重點是在講什麽 貓在墊子上睡覺 它很舒服 AI計算出來的註意力可能會是 它是墊子的 相關性0.4 它是貓的 相關性0.9 就這樣AI不僅學會了單詞的意思 還理解了詞 句子與句子之間的邏輯關系 那麽再到第四步 就是反復訓練加參數調整 把上述的填空題和Self-Attention 註意力的步驟 在海量的數據上循環的進行 上百萬乃至於上億次的訓練 每次叠代AI都會更新參數 慢慢形成更準確的理解和推理能力 最終啊AI學會了生成文章 學會了回答人類的問題 甚至推斷語境 做推理看起來像是能聽懂了人話 可其實他只是在做算術 那說到算數啊大家一定想問了 訓練一個像GPT4這個級別的大語言模型 到底需要多少次計算呢 在AI訓練裏啊 通常用FLOPs 也就是（浮點運算次數）來衡量計算量 比如一次簡單的“1.2 × 3.4 = 4.08” 這麽一個算術題啊 就算1個FLOP OpenAI上一代的產品 GPT3的訓練的計算次數 就是一個恐怖的天文數字 大約一共是1,750億個參數 用了3.14×10^23次FLOPs （也就是3140億億次浮點運算） 相當於一臺當時的頂級GPU A100 以每秒312萬億次浮點運算的速度 連續運行了355年 或者是用3,640臺A110起跑一個月的時間 那麽據說啊 GPT3在它的訓練中 一共看了大約5,000億個單詞 並且預測了10萬億個Token 也就是做了10萬億次完形填空題 來學習語言 那麽至於GPT4啊 有傳聞說它的規模比GPT3還要再大5-10倍 因此所需的計算量也會更大 它可能使用了8,000張A100 GPU 連續跑了約90天 那麽說到這裏 咱們鋪墊了那麽長 相信大家已經有了大致的概念 那麽下面 咱們終於要說到中國的DeepSeek了 由於美國對中國的高端芯片制裁 頂尖的GPU 比如H100肯定是不會賣給中國 當然我這裏指的是合法途徑 於是啊英偉達給中國市場 提供了一個專用芯片 叫做H800 就是H100的中國市場閹割版 雖然這個閹割版被降了頻 但它依然是和H100同一代的先進架構 它的性能大概是H100的60%到77% 也就是1.3到 1.6倍的差距 但是這個閹割版 依然要比之前用於訓練GPT4的A100要更強 另外 從價格方面來講 據說 H800在中國的報價為21萬元人民幣 而H100大約是25萬元 也就是說啊 H800的性能比H100慢了23% 但它的價格卻比H100又便宜了16% 那麽這麽一算下來呢 如果用相同的預算多買幾張H800 得到的總算率只比買H100少了8% 因此盡管有制裁 但對於中國國內大模型訓練的影響 也未必像大家想象中的那麽致命 所以當DeepSeek宣稱 他能夠在中國受限的芯片環境下 完成與GPT4相當的訓練規模 並稱這是創造奇跡的時候 也就未必是那麽回事了 那麽下面啊 咱們就要聊到今天的重頭戲 DeepSeek是如何用550萬的預算 達到1億美元的GPT的效果的 答案就是啊 模型蒸餾技術 前面我們一直反復強調AI 一開始 它並沒有老師手把手的告訴他 每個單詞的含義 可在模型蒸餾裏啊 DeepSeek卻找到了老師 而這位老師 據傳正是已經訓練成熟的ChatGPT 那到底是怎麽教的呢 咱們還用剛才的例子舉例來說 貓坐在墊子上 它很舒服 那麽DeepSeek學習的步驟如下 第一步啊 輸入數據給GPT 也就是教師模型 那麽DeepSeek把這句話輸入給GPT GPT是一個 已經經過海量數據訓練的大師了 理解語言非常的準確 第二步GPT生成輸出軟標簽 GPT分析完了之後呢 可能會給 出一個這樣的概率分布 比如啊 它可能輸出它指的是貓的概率是85% 它指的是墊子的概率是15% 它不僅告訴了DeepSeek正確的答案是貓 還能讓DeepSeek知道 GPT在判斷時的細節和關聯度 那麽下面就到了第三步 記錄老師的思考過程 除了最終答案 DeepSeek還可能獲取 在中間層的一些其他信息 比如剛才說的註意力分數 隱藏狀態等等 就像是獲得了老師的心得筆記 那麽接下來也就是最後一步 獲得老師的心得筆記之後 DeepSeek就不需要從零開始 琢磨每一個詞之間的關系 而是直接學習老師的經驗 反復的學習這些軟標簽後 DeepSeek大大縮短的訓練時間 節省了大量的算力 並且最終可以輸出與GPT4相近的結果 那麽上述的過程就叫模型蒸餾 用大模型 當老師把知識蒸餾到自己的小模型裏 最終DeepSeek可以比老師 更快的給出靠譜的答案 且訓練的成本也比老師大大的降低 說到這裏 大家可能想問了 DeepSeek 又是如何獲得GPT輸出的軟標簽的呢 這屬不屬於偷竊呢 從明面上說 DeepSeek所用的方法呢 大多是通過合法公開的API接口 來調用GPT的服務 就像你平時在網頁上 使用ChatGPT一樣 只不過它調用的規模要更大一些 當然我這裏說的是 在合法使用API的前提下 只要他是遵守了用戶條款 不違規不濫用 他就不算偷竊 但至於DeepSeek 他究竟有沒有完全的遵守 條款有沒有違規濫用 這就不是我今天能判斷的 而是要看 ChatGPT未來如何界定這個問題了 不過即便如此 DeepSeek還是得付出不少的接口調運費 買那麽多的數據來訓練自己的模型 成本其實並不低 但是對於那些有資金 有項目需求的團隊而言 這種規模的付費調用 比從0訓練一個上億美元級別的大模型 還是便宜太多了 那麽從道德層面上 DeepSeek的這種做法 有沒有什麽道德瑕疵呢 的確啊從商業競爭角度來看 一家團隊用極少的成本 直接利用別家大模型推理的結果 來訓練自己的模型 等於是享受別人努力的成果 這太投機取巧 當然也有人會認為 如果是付費取得的 沒有違反使用條款 那就是合理合法 誰叫你自己沒看住呢 那對於這個問題呢 我的理解啊是這樣的 如果一個規則 不能保護付出更多努力的創新者 那他就不能稱得上是一個合理的規則 什麽意思呢 咱們假設有兩個學生 小美和小華 他們的目標都是學習英語 小美選擇從零開始系統的學英語 從語法詞匯到聽說讀寫全面訓練 投入了大量的時間精力和金錢 最終她通過了雅思考試 取得了高分 成為了一個編寫題庫 和總結解題技巧的老師 並且啊開始以賣題庫為生 而另一個學生小華呢 選擇直接買小美編寫的考試題庫 天天在家刷 從而 掌握了考試中可能會出現的關鍵考點 和解題技巧 在更短的時間裏 通過了雅思考試 拿到了接近小美老師的成績 那麽如果故事只說到這裏啊 其實一點問題都沒有 可是小華 巧妙地 憑借與小美老師成績相當的名聲 小華也開始賣題庫了 而且價格只有小美老師的幾十分之一 最後啊投入最多成本的小美老師 被市場活活卷死 是血本無歸 而後來者居上的蒸餾技術 出來的那些小模型 卻賺的是盆滿缽滿 你的確可以誇贊小華聰明勤奮 還有點小聰明 可是大家不覺得 這整件事 是不是有點什麽不對勁的地方 曾經啊 意大利是世界聞名的皮鞋之都 可當中國的溫州人 學會了做皮鞋以後啊 硬是把意大利的這整個行業給覆滅了 過去啊光伏發電產業 最早是美國和德國先起步的 後來啊中國人一入場 直接卷成白菜價 幾乎包圓了整個全球市場 起初歐洲 以色列和美國 都在無人機技術上取得了重大突破 可當無人機技術一開源之後 中國的品牌大疆迅速崛起 成為了消費級市場的龍頭老大 造機器人的波士頓動力公司 從上世紀80年代就開始研究機器人 辛辛苦苦快50年 至今尚未盈利 雖然他們去年終於開售 他們的Spot dog定價75,000美元 但中國的宇樹公司一出場 依托開源技術推出了GO1 機器狗 且售價只有2,700-3,500美元之間 差不多是Spot dog價格的1/30 現在已經開始在瘋狂的搶占市場 波斯頓動力的未來岌岌可危 那再說到今天的 DeepSeek更是徒弟偷師以後 幹掉老師傅的經典節奏 咱們看Open AI訓練的ChatGPT 耗資幾十上百億美金 它最好的模型GPT-01 要價200美金一個月 而550萬起家的DeepSeek-R1 好像只要100元人民幣一個月 比ChatGPT便宜了十幾倍 總之啊徒弟偷學了本領 餓死會創新 老師傅的故事啊 在咱們今天這個地球上 是不斷的在上演 他們的套路就是先免費搭便車 削弱創新者的動力 再通過價格戰 用劣幣驅逐良幣來徹底幹掉創新 勤勞智慧的中國人 要是再這麽一直卷下去啊 整個人類的科技進步 恐怕都將要進入冰河世紀 最後我想說 他是現代AI之父 千萬別再小看印度科學家的實力