1.我們做大模型，跟量化和金融都沒有直接關(guān)系。我們要做的是通用人工智能，也就是AGI。

2.語言大模型是通往AGI的必經(jīng)之路，并且初步具備了AGI的特征，所以我們從這里開始。

3.我們不會(huì)過早設(shè)計(jì)基于模型的一些應(yīng)用，會(huì)專注在大模型上。從長期看，大模型應(yīng)用門檻會(huì)越來越低，初創(chuàng)公司在未來20年任何時(shí)候下場，也都有機(jī)會(huì)。我們的目標(biāo)很明確，就是不做垂類和應(yīng)用，而是做研究，做探索。

4.我們理解人類智能的本質(zhì)就是語言，人的思維就是一個(gè)語言的過程。你以為你在思考，其實(shí)可能是你在腦子里編織語言。這意味著，在語言大模型上可能誕生出類人的人工智能（AGI）。

5.只做復(fù)刻的話，可以在公開論文或開源代碼基礎(chǔ)上，只需訓(xùn)練很少次數(shù)，甚至只需finetune（微調(diào)）一下，成本很低。而做研究，要做各種實(shí)驗(yàn)和對比，需要更多算力，對人員要求也更高，所以成本更高。

6.我們希望更多人，哪怕一個(gè)小App都可以低成本去用上大模型，而不是技術(shù)只掌握在一部分人和公司手中，形成壟斷。大廠的模型，可能會(huì)和他們的平臺或生態(tài)捆綁，而我們是完全自由的。

7.從商業(yè)角度來講，基礎(chǔ)研究是投入回報(bào)比很低的。我們比較確定的是，既然我們想做這個(gè)事，又有這個(gè)能力，這個(gè)時(shí)間點(diǎn)上，我們就是最合適人選之一。

8.從最早的1張卡，到2015年的100張卡、2019年的1000張卡，再到一萬張，這個(gè)過程是逐步發(fā)生的。很多人會(huì)以為這里邊有一個(gè)不為人知的商業(yè)邏輯，但其實(shí)，主要是好奇心驅(qū)動(dòng)，對AI能力邊界的好奇。

9.對很多行外人來說，ChatGPT這波浪潮沖擊特別大；但對行內(nèi)人來說，2012年AlexNet帶來的沖擊已經(jīng)引領(lǐng)一個(gè)新的時(shí)代。AlexNet的錯(cuò)誤率遠(yuǎn)低于當(dāng)時(shí)其他模型，復(fù)蘇了沉睡幾十年的神經(jīng)網(wǎng)絡(luò)研究。雖然具體技術(shù)方向一直在變，但模型、數(shù)據(jù)和算力這三者的組合是不變的，特別是當(dāng)2020年OpenAI發(fā)布GPT3后，方向很清楚，需要大量算力。那之后，我們有意識地去部署盡可能多的算力。

10.一件激動(dòng)人心的事，不能單純用錢衡量。就像家里買鋼琴，一來買得起，二來是因?yàn)橛幸蝗杭庇谠谏厦鎻椬鄻非娜恕?br/>

11.人工成本是對未來的投資，是公司最大的資產(chǎn)。我們選的人相對樸實(shí)一點(diǎn)，有好奇心，來我們這里有機(jī)會(huì)去做研究。大廠很難單純?nèi)プ鲅芯浚鲇?xùn)練，它更多會(huì)是業(yè)務(wù)需求驅(qū)動(dòng)。如果不能很快應(yīng)用，大廠不一定能持續(xù)堅(jiān)持，因?yàn)樗枰吹浇Y(jié)果。

12.我們招人有條原則是，看能力，而不是看經(jīng)驗(yàn)。如果追求短期目標(biāo)，找現(xiàn)成有經(jīng)驗(yàn)的人是對的。但如果看長遠(yuǎn)，經(jīng)驗(yàn)就沒那么重要，基礎(chǔ)能力、創(chuàng)造性與熱愛等更重要。

13.我們的核心技術(shù)崗位，基本以應(yīng)屆和畢業(yè)一兩年的人為主。做一件事，有經(jīng)驗(yàn)的人會(huì)不假思索告訴你，應(yīng)該這樣做，但沒有經(jīng)驗(yàn)的人，會(huì)反復(fù)摸索、很認(rèn)真去想應(yīng)該怎么做，然后找到一個(gè)符合當(dāng)前實(shí)際情況的解決辦法。

14.我們招人的條件是熱愛，這些人的熱情通常會(huì)表現(xiàn)出來，因?yàn)樗娴暮芟胱鲞@件事，所以這些人往往同時(shí)也在找你。

15.我們的考核標(biāo)準(zhǔn)和一般公司不太一樣。我們沒有KPI，也沒有所謂的任務(wù)。

16.創(chuàng)新需要盡可能少的干預(yù)和管理，讓每個(gè)人有自由發(fā)揮的空間和試錯(cuò)機(jī)會(huì)。創(chuàng)新往往都是自己產(chǎn)生的，不是刻意安排的，更不是教出來的。我們交給員工重要的事，并且不干預(yù)他。讓他自己想辦法，自己發(fā)揮。

17.招人時(shí)確保價(jià)值觀一致，然后通過企業(yè)文化來確保步調(diào)一致。當(dāng)然，我們并沒有一個(gè)成文的企業(yè)文化，因?yàn)樗谐晌牡臇|西，又會(huì)阻礙創(chuàng)新。更多時(shí)候，是管理者的以身示范，遇到一件事，你如何做決策，會(huì)成為一種準(zhǔn)則。

18.按照教科書的方法論來推導(dǎo)創(chuàng)業(yè)公司，在當(dāng)下，他們做的事，都是活不下來的。但市場是變化的，真正的決定力量往往不是一些現(xiàn)成的規(guī)則和條件，而是一種適應(yīng)和調(diào)整變化的能力。很多大公司的組織結(jié)構(gòu)已經(jīng)不能快速響應(yīng)和快速做事，而且他們很容易讓之前的經(jīng)驗(yàn)和慣性成為束縛，而這波AI新浪潮之下，一定會(huì)有一批新公司誕生。

19.最讓我們興奮的是去搞清我們的猜想是不是事實(shí)，如果是對的，就會(huì)很興奮了。

20.信仰者會(huì)之前就在這里，之后也在這里。他們更會(huì)去批量買卡，或者跟云廠商簽長協(xié)議，而不是短期去租。

21.創(chuàng)新是昂貴且低效的，有時(shí)候伴隨著浪費(fèi)。所以經(jīng)濟(jì)發(fā)展到一定程度之后，才能夠出現(xiàn)創(chuàng)新。很窮的時(shí)候，或者不是創(chuàng)新驅(qū)動(dòng)的行業(yè)，成本和效率非常關(guān)鍵。OpenAI也是燒了很多錢才出來的。

22.這個(gè)世界存在很多無法用邏輯解釋的事，就像很多程序員，也是開源社區(qū)的瘋狂貢獻(xiàn)者，一天很累了，還要去貢獻(xiàn)代碼。類似你徒步50公里，整個(gè)身體是癱掉的，但精神很滿足。

23.不是所有人都能瘋狂一輩子，但大部分人，在他年輕的那些年，可以完全沒有功利目的，投入地去做一件事。

24.我們的大模型服務(wù)降價(jià)只是按照自己的步調(diào)來做事，然后核算成本定價(jià)。我們的原則是不貼錢，也不賺取暴利，在成本之上稍微有點(diǎn)利潤。

25.搶用戶并不是我們的主要目的。我們降價(jià)一方面是因?yàn)槲覀冊谔剿飨乱淮Ｐ偷慕Y(jié)構(gòu)中，成本先降下來了，另一方面也覺得無論API，還是AI，都應(yīng)該是普惠的、人人可以用得起的東西。

26.如果目標(biāo)是做應(yīng)用，那沿用Llama結(jié)構(gòu)，短平快上產(chǎn)品也是合理選擇。但我們的目的地是AGI，這意味著我們需要研究新的模型結(jié)構(gòu)，在有限資源下，實(shí)現(xiàn)更強(qiáng)的模型能力。這是scale up到更大模型所需要做的基礎(chǔ)研究之一。除了模型結(jié)構(gòu)，我們還做了大量其他的研究，包括怎么構(gòu)造數(shù)據(jù)，如何讓模型更像人類等，這都體現(xiàn)在我們發(fā)布的模型里。

27.最重要的是參與到全球創(chuàng)新的浪潮里去。過去很多年，中國公司習(xí)慣了別人做技術(shù)創(chuàng)新，我們拿過來做應(yīng)用變現(xiàn)，但這并非是一種理所當(dāng)然。這一波浪潮里，我們的出發(fā)點(diǎn)，就不是趁機(jī)賺一筆，而是走到技術(shù)的前沿，去推動(dòng)整個(gè)生態(tài)發(fā)展。

28.隨著經(jīng)濟(jì)發(fā)展，中國也要逐步成為貢獻(xiàn)者，而不是一直搭便車。過去三十多年IT浪潮里，我們基本沒有參與到真正的技術(shù)創(chuàng)新里。我們已經(jīng)習(xí)慣摩爾定律從天而降，躺在家里18個(gè)月就會(huì)出來更好的硬件和軟件。但其實(shí)，這是西方主導(dǎo)的技術(shù)社區(qū)一代代孜孜不倦創(chuàng)造出來的，只因?yàn)橹拔覀儧]有參與這個(gè)過程，以至于忽視了它的存在。

29.大部分中國公司習(xí)慣follow，而不是創(chuàng)新。

30.創(chuàng)新的成本肯定不低，過去那種拿來主義的慣例和過去的國情有關(guān)。但現(xiàn)在，無論中國的經(jīng)濟(jì)體量，還是字節(jié)、騰訊這些大廠的利潤，放在全球都不低。我們創(chuàng)新缺的不是資本，而是缺乏信心以及不知道怎么組織高密度的人才實(shí)現(xiàn)有效的創(chuàng)新。

31.過去三十年，我們都只強(qiáng)調(diào)賺錢，對創(chuàng)新是忽視的。創(chuàng)新不完全是商業(yè)驅(qū)動(dòng)的，還需要好奇心和創(chuàng)造欲。我們只是被過去那種慣性束縛了，但它也是階段性的。

32.在顛覆性的技術(shù)面前，閉源形成的護(hù)城河是短暫的。即使OpenAI閉源，也無法阻止被別人趕超。所以我們把價(jià)值沉淀在團(tuán)隊(duì)上，我們的同事在這個(gè)過程中得到成長，積累很多know-how，形成可以創(chuàng)新的組織和文化，這就是我們的護(hù)城河。

33.開源，發(fā)論文，并沒有失去什么。對于技術(shù)人員來說，被follow是很有成就感的事。開源更像一個(gè)文化行為，而非商業(yè)行為。給予是一種額外的榮譽(yù)，一個(gè)公司這么做也會(huì)有文化的吸引力。

34.美國最賺錢的公司，都是厚積薄發(fā)的高科技公司。

35.中國AI和美國真實(shí)的gap是原創(chuàng)和模仿的差距。如果這個(gè)不改變，中國永遠(yuǎn)只能是追隨者，所以有些探索也是逃不掉的。

36.英偉達(dá)的領(lǐng)先，不只是一個(gè)公司的努力，而是整個(gè)西方技術(shù)社區(qū)和產(chǎn)業(yè)共同努力的結(jié)果。他們能看到下一代的技術(shù)趨勢，手里有路線圖。中國AI的發(fā)展，同樣需要這樣的生態(tài)。很多國產(chǎn)芯片發(fā)展不起來，是因?yàn)槿狈ε涮椎募夹g(shù)社區(qū)，只有第二手消息，所以中國必然需要有人站到技術(shù)的前沿。

37.我們不會(huì)閉源，我們認(rèn)為先有一個(gè)強(qiáng)大的技術(shù)生態(tài)更重要。

38.我們短期內(nèi)沒有融資計(jì)劃，我們面臨的問題從來不是錢，而是高端芯片被禁運(yùn)。

39.更多的投入并不一定產(chǎn)生更多的創(chuàng)新，否則大廠可以把所有的創(chuàng)新包攬了。

40.我們認(rèn)為當(dāng)前階段是技術(shù)創(chuàng)新的爆發(fā)期，而不是應(yīng)用的爆發(fā)期。長遠(yuǎn)來說，我們希望形成一種生態(tài)，就是業(yè)界直接使用我們的技術(shù)和產(chǎn)出，我們只負(fù)責(zé)基礎(chǔ)模型和前沿的創(chuàng)新，然后其它公司在DeepSeek的基礎(chǔ)上構(gòu)建toB、toC的業(yè)務(wù)。如果能形成完整的產(chǎn)業(yè)上下游，我們就沒必要自己做應(yīng)用。

41.如果需要，我們做應(yīng)用也沒障礙，但研究和技術(shù)創(chuàng)新永遠(yuǎn)是我們第一優(yōu)先級。

42.技術(shù)沒有秘密，但重置需要時(shí)間和成本。英偉達(dá)的顯卡，理論上沒有任何技術(shù)秘密，很容易復(fù)制，但重新組織團(tuán)隊(duì)以及追趕下一代技術(shù)都需要時(shí)間，所以實(shí)際的護(hù)城河還是很寬。

43.提供云服務(wù)不是我們的主要目標(biāo)，我們的目標(biāo)是去實(shí)現(xiàn)AGI。

44.大廠有現(xiàn)成的用戶，但它的現(xiàn)金流業(yè)務(wù)也是它的包袱，也會(huì)讓它成為隨時(shí)被顛覆的對象。

45.大模型創(chuàng)業(yè)公司可能活下來2到3家?，F(xiàn)在都還處在燒錢階段，那些自我定位清晰、更能精細(xì)化運(yùn)營的，更有機(jī)會(huì)活下來。其它公司可能會(huì)脫胎換骨。有價(jià)值的東西不會(huì)煙消云散，但會(huì)換一種方式。

46.我經(jīng)常思考的是，一個(gè)東西能不能讓社會(huì)的運(yùn)行效率變高，以及你能否在它的產(chǎn)業(yè)分工鏈條上找到擅長的位置。只要終局是讓社會(huì)效率更高，就是成立的。中間很多都是階段性的，過度關(guān)注必然眼花繚亂。

47.我們發(fā)布的V2模型沒有海外回來的人，都是本土的。前50名頂尖人才可能不在中國，但我們能自己打造這樣的人。

48.DeepSeek也全是自下而上的。而且我們一般不前置分工，而是自然分工。每個(gè)人有自己獨(dú)特的成長經(jīng)歷，都是自帶想法的，不需要push他。探索過程中，他遇到問題，自己就會(huì)拉人討論。不過當(dāng)一個(gè)idea顯示出潛力，我們也會(huì)自上而下地去調(diào)配資源。

49.我們每個(gè)人對于卡和人的調(diào)動(dòng)是不設(shè)上限的。如果有想法，每個(gè)人隨時(shí)可以調(diào)用訓(xùn)練集群的卡無需審批，同時(shí)因?yàn)椴淮嬖趯蛹壓涂绮块T，也可以靈活調(diào)用所有人，只要對方也有興趣。

50.我們選人的標(biāo)準(zhǔn)一直都是熱愛和好奇心，所以很多人會(huì)有一些奇特的經(jīng)歷，很有意思。很多人對做研究的渴望，遠(yuǎn)超對錢的在意。

51.創(chuàng)新首先是一個(gè)信念問題。為什么硅谷那么有創(chuàng)新精神？首先是敢。Chatgpt出來時(shí)，整個(gè)國內(nèi)對做前沿創(chuàng)新都缺乏信心，從投資人到大廠，都覺得差距太大了，還是做應(yīng)用吧。但創(chuàng)新首先需要自信，這種信心通常在年輕人身上更明顯。

52.我們在做最難的事。對頂級人才吸引最大的，肯定是去解決世界上最難的問題。其實(shí)，頂尖人才在中國是被低估的。因?yàn)檎麄€(gè)社會(huì)層面的硬核創(chuàng)新太少了，使得他們沒有機(jī)會(huì)被識別出來。我們在做最難的事，對他們是有吸引力的。

53.OpenAI不是神，不可能一直沖在前面。

54.AGI可能是2年、5年或者10年，總之會(huì)在我們有生之年實(shí)現(xiàn)。至于路線圖，即使在我們公司內(nèi)部，也沒有統(tǒng)一意見。但我們確實(shí)押注了三個(gè)方向：一是數(shù)學(xué)和代碼，二是多模態(tài)，三是自然語言本身。數(shù)學(xué)和代碼是AGI天然的試驗(yàn)場，有點(diǎn)像圍棋，是一個(gè)封閉的、可驗(yàn)證的系統(tǒng)，有可能通過自我學(xué)習(xí)就能實(shí)現(xiàn)很高的智能。另一方面，多模態(tài)、參與到人類的真實(shí)世界里學(xué)習(xí)，對AGI也是必要的。我們對一切可能性都保持開放。

55.未來會(huì)有專門公司提供基礎(chǔ)模型和基礎(chǔ)服務(wù)，會(huì)有很長鏈條的專業(yè)分工。更多人在之上去滿足整個(gè)社會(huì)多樣化的需求。

56.我主要的精力在研究下一代的大模型，還有很多未解決的問題。

57.所有的套路都是上一代的產(chǎn)物，未來不一定成立。拿互聯(lián)網(wǎng)的商業(yè)邏輯去討論未來AI的盈利模式，就像馬化騰創(chuàng)業(yè)時(shí)，你去討論通用電氣和可口可樂一樣，很可能是一種刻舟求劍。

58.我們經(jīng)歷了一個(gè)漫長的積累過程，外部看到的是幻方2015年后的部分，但其實(shí)我們做了16年。

59.未來中國產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整，會(huì)更依賴硬核技術(shù)的創(chuàng)新。當(dāng)很多人發(fā)現(xiàn)過去賺快錢很可能來自時(shí)代運(yùn)氣，就會(huì)更愿意俯身去做真正的創(chuàng)新。

60.未來硬核創(chuàng)新會(huì)越來越多，現(xiàn)在還不容易被理解，是因?yàn)檎麄€(gè)社會(huì)群體需要被事實(shí)教育。當(dāng)這個(gè)社會(huì)讓硬核創(chuàng)新的人功成名就，群體性想法就會(huì)改變，我們只是還需要一堆事實(shí)和一個(gè)過程。