成人免费午夜在线观看,伊人久久精品,一区二区三区精品

趙仲夏： 太棒了，之前有聽(tīng)我的老師講，傳統(tǒng)的大源模型是讀萬(wàn)卷書(shū)，那 world model 或者說(shuō)具身有點(diǎn)像是行萬(wàn)里路。這樣的話(huà)最終會(huì)發(fā)生一些概念，完成一些對(duì)現(xiàn)實(shí)上的一個(gè)對(duì)齊，一旦對(duì)齊之后將會(huì)誕生一個(gè)更棒的超級(jí)智能。

說(shuō)完 world model，我們想聊一下強(qiáng)化學(xué)習(xí)。奚老師覺(jué)得強(qiáng)化學(xué)習(xí)在這次具身智能中扮演一個(gè)什么樣的角色？您覺(jué)得強(qiáng)化學(xué)習(xí)要如何使用？

奚偉：我是這么想的，大語(yǔ)言模型是一個(gè)概率模型，它生成內(nèi)容，但是并不保證它的準(zhǔn)確性。強(qiáng)化學(xué)習(xí)是一個(gè)優(yōu)化模型，它去把結(jié)果根據(jù)你的需求進(jìn)行優(yōu)化，比如跳舞，在訓(xùn)練過(guò)程中都要根據(jù)你的目標(biāo)來(lái)進(jìn)行優(yōu)化，所以強(qiáng)化學(xué)習(xí)是一個(gè)必要的工具?；旧犀F(xiàn)在所有的應(yīng)用都會(huì)用到強(qiáng)化學(xué)習(xí)，但它不是要取代大語(yǔ)言模型，這是相輔相成的，它是大語(yǔ)言模型的一個(gè) building block。我認(rèn)為，強(qiáng)化學(xué)習(xí)是必需的。

趙仲夏： 這個(gè)非常確定，強(qiáng)化學(xué)習(xí)是必需的，我很喜歡這個(gè)結(jié)論。馮博您如何看待強(qiáng)化學(xué)習(xí)？

馮子勇：首先從強(qiáng)化學(xué)習(xí)技術(shù)發(fā)展的歷史來(lái)先看一下，強(qiáng)化學(xué)習(xí)并不是現(xiàn)在才有，過(guò)去已經(jīng)一直在，只是過(guò)去大家發(fā)現(xiàn)強(qiáng)化時(shí)學(xué)習(xí)，像這個(gè)阿巴狗這樣的，它只能存在于仿真環(huán)境里，譬如說(shuō)像游戲。

過(guò)去我認(rèn)為叫小模型，就是它只能上 RL 的時(shí)候，需要大量的數(shù)據(jù)去train，就像我們以前做小模型就是我要標(biāo)很多很多的數(shù)據(jù)，只訓(xùn)那一個(gè)任務(wù)，在這個(gè)上面也是一樣的，當(dāng)有一個(gè)很好的預(yù)訓(xùn)練，相當(dāng)于我的知識(shí)，我的邏輯，我的所有東西都已經(jīng)學(xué)得差不多了，最后才來(lái)激活他，來(lái)激發(fā)他新的這些，或者說(shuō)在原來(lái)這些潛力下面去組織一些新的能力。這是這兩個(gè)的范式一點(diǎn)點(diǎn)不一樣。

RL 還是很重要，但 RL 里面還有一個(gè)最重要reward，就是做過(guò) RL 的同事或者說(shuō)研究人員都知道 reward 非常難調(diào)。那在具身里面 reward 怎么辦？我們看到有的公司比如Dana是設(shè)計(jì)了一個(gè)不錯(cuò)的reward，那我覺(jué)得在這個(gè)方面應(yīng)該也是非常有搞頭，就是大家應(yīng)該多去想想 reward 怎么搞。

趙仲夏： 說(shuō)到 Daya ，勉諾，是你們投的公司對(duì)不對(duì)?。恳灰o我們介紹一下 Dana 在做什么？或者您如何看待強(qiáng)化學(xué)習(xí)的使用。

陳勉諾：Dyna Robotics也是朝著具身智能的方面去做努力，在不斷地收集數(shù)據(jù)，嘗試在真實(shí)的場(chǎng)景中構(gòu)建能夠真的走進(jìn)到這個(gè)工業(yè)和生活場(chǎng)景中的機(jī)器人的這樣一家公司。

我說(shuō)一下對(duì)強(qiáng)化學(xué)習(xí)的理解。因?yàn)槲以瓉?lái)是做控制學(xué)背景出身，對(duì)于可能 learning 這個(gè)方向沒(méi)有特別強(qiáng)的概念。后來(lái)學(xué)到了一個(gè)很重要的概念理解，模仿學(xué)習(xí)可以理解成就是那些只會(huì)做習(xí)題集的普通學(xué)生，然后強(qiáng)化學(xué)習(xí)是那些做了習(xí)題集之后他能夠去解更難問(wèn)題的優(yōu)秀學(xué)生。所以其實(shí)強(qiáng)化學(xué)習(xí)在機(jī)器人領(lǐng)域我覺(jué)得是一個(gè)必然很重要的發(fā)展路徑。

比如 DeepSeek R1 那篇文章發(fā)出來(lái)之后，大家就看到如果你有比較大的base model ，在上面加上 RL 之后，那它其實(shí)就能夠帶來(lái)很強(qiáng)的智能的泛化性，這個(gè)理解也很簡(jiǎn)單，就像普通一個(gè)班級(jí)，同學(xué)們都做了很不錯(cuò)的習(xí)題練習(xí)之后，里邊有一些極度聰明的同學(xué)，你給他一個(gè) reward 獎(jiǎng)勵(lì)，給他一道更難的題這樣一個(gè)目標(biāo)函數(shù)，然后他就能在這里邊去形成自己新的解題思路。

所以我們認(rèn)為在機(jī)器人領(lǐng)域也是一樣的，只不過(guò)可能今天在機(jī)器人領(lǐng)域，或者在具身智能領(lǐng)域，現(xiàn)在還沒(méi)有很好的 base model，所以大家普遍在于數(shù)據(jù)采集，然后去建立 base model 的狀態(tài)。所以RL重要嗎？我覺(jué)得未來(lái)RL非常非常重要。

還有一個(gè)路徑大家也可以去看，原來(lái)我們看四足狗的這種形態(tài)，在我創(chuàng)業(yè)的時(shí)候，那個(gè)時(shí)候在 2018 年左右，四足狗整個(gè)步態(tài)穩(wěn)定性其實(shí)是比較差的。但今天四足狗整個(gè)的步態(tài)非常像狗，這里面其實(shí)就是采集了大量的狗的真實(shí)數(shù)據(jù)，之前像騰訊的RoboticsX實(shí)驗(yàn)室有一段時(shí)間專(zhuān)門(mén)采集狗的運(yùn)動(dòng)動(dòng)態(tài)數(shù)據(jù)，動(dòng)捕做了很多動(dòng)態(tài)數(shù)據(jù)，把動(dòng)捕的數(shù)據(jù)放到機(jī)器人里面去 train 它的RL model，然后讓它可以去實(shí)現(xiàn)。

只不過(guò)locomotion這種運(yùn)動(dòng)學(xué)更容易實(shí)現(xiàn)，它不需要非常高精度的控制，所以我們今天看到 RL+locomotion其實(shí)在場(chǎng)景中更容易實(shí)現(xiàn)。可能下一步具身智能要解決問(wèn)題就是RL+manipulation操作層面上。但操作是一個(gè)更復(fù)雜任務(wù)，你需要去定義這個(gè)任務(wù)到底是什么，它具備一定的復(fù)雜性，以及你要解決有一個(gè)能夠在數(shù)字世界里邊去建立的仿真環(huán)境，因?yàn)镽L本身是需要有真實(shí)數(shù)據(jù)在仿真環(huán)境下跑最終得到一個(gè)有效的模型，然后再把模型返回到真機(jī)的場(chǎng)景下去實(shí)現(xiàn)結(jié)果的這樣一個(gè)過(guò)程。這可能是今天我們要面臨的一個(gè)挑戰(zhàn)，也是今天所有的具身智能的公司大家在去解決的問(wèn)題。大家可能普遍去構(gòu)建仿真環(huán)境，去采集真機(jī)數(shù)據(jù)，構(gòu)建仿真數(shù)據(jù)，然后仿真數(shù)據(jù)去Train一個(gè)還不錯(cuò)的 base model，把真實(shí)數(shù)據(jù)去放進(jìn)來(lái)，然后定一個(gè)有效的任務(wù)目標(biāo)函數(shù)，再讓它能夠在真實(shí)環(huán)境里面去解決。

另外一個(gè)我也挺認(rèn)同今天具身智能是一個(gè)更復(fù)雜的場(chǎng)景任務(wù)，因?yàn)樗锢硎澜邕M(jìn)行交互，所以它的目標(biāo)函數(shù)更難去定義。我們都知道RL里邊最重要的是reward function的建立，其實(shí)構(gòu)建Reward Function是很難的一件事情。比如說(shuō)我們今天看到大語(yǔ)言模型RL在什么樣的場(chǎng)景下是最有效？它在 coding 和math層面上很容易實(shí)現(xiàn)，因?yàn)檫@個(gè)目標(biāo)函數(shù)非常容易定義。但跟物理世界的任務(wù)怎么樣去有效定義這是一個(gè)今天還沒(méi)有被完全定論的問(wèn)題，也是我經(jīng)常跟具身智能行業(yè)的學(xué)者和業(yè)界人士探討的問(wèn)題。什么樣的任務(wù)體系是今天能夠被定義為一個(gè)Benchmark，我們能夠讓把它作為一個(gè)很重要的任務(wù)評(píng)測(cè)集，能讓具身智能系統(tǒng)在里邊去不斷地追求它的目標(biāo)極致。

今天可能大家有一些概念，比如疊衣服任務(wù)。今天具身智能公司一個(gè)最重要的 demo 就是疊衣服，為什么疊衣服會(huì)成為一個(gè)重要的案例？因?yàn)樗袔讉€(gè)層面，第一個(gè)它有翻折的復(fù)雜性，第二個(gè)它是跟柔性物體接觸，這都是是重要的Benchmark點(diǎn)，但今天坦白來(lái)說(shuō)還沒(méi)有一個(gè)很有效的Benchmark ，也意味著 RL 在這個(gè)階段還沒(méi)有得到大范圍的使用，但我認(rèn)為它在未來(lái)，尤其當(dāng)我們建立了有效的 base model，會(huì)像 DeepSeek R1 那樣，有一天能夠綻放出巨大的光彩，而且我認(rèn)為是必經(jīng)之路。

趙仲夏： 您說(shuō)這個(gè)讓我想到了一個(gè)好玩的概念叫 BA base model，有點(diǎn)像是人的頓悟，因?yàn)槲覀冎v智能涌現(xiàn)是頓悟時(shí)刻，然后 RL 有點(diǎn)像佛祖的點(diǎn)化，但是佛祖只能點(diǎn)化一個(gè)有慧根的模型。所以我們現(xiàn)在相當(dāng)于行業(yè)或者研究一直在做數(shù)據(jù)采集，也是為了先訓(xùn)一個(gè)聰明的有慧根的 base model，然后等待 RL 點(diǎn)化，我覺(jué)得這個(gè)很有意思。

然后我們?cè)倭囊恍└鼘掽c(diǎn)的問(wèn)題，大家覺(jué)得如何看待具身智能和通用人工智能？具身智能是通用人工智能的必由之路嗎？來(lái)，要不奚老師您來(lái)跟我們講一下？

奚偉：具身智能和通用人工智能具有相關(guān)性，但完全是兩個(gè)不同的東西。具身智能一定是要和物理世界發(fā)生關(guān)系的，要通過(guò)傳感器去對(duì)物理世界進(jìn)行建模，再去通過(guò)決策操縱你的機(jī)構(gòu)，然后發(fā)生關(guān)系。但通用人工智能是對(duì)我們所有的知識(shí)規(guī)則的一個(gè)一個(gè)總結(jié)，它能形成一個(gè)有效的一個(gè)個(gè)推理，更多的是在一個(gè)抽象層面的能力，它并不一定需要一個(gè)具身載體，所以我認(rèn)為通用人工智能是對(duì)具身智能能力的一個(gè)巨大的提升，它應(yīng)該是一個(gè) building block，人工智能可以去賦能的一個(gè)技術(shù)，它可以賦能不同的，包括機(jī)器人。美的也在提家電機(jī)器人化，也是把要把家電作為人工智能載體，結(jié)合在家電里邊放的一些傳感器，可以變成具身智能家電這樣的一個(gè)新物種。

我覺(jué)得這些東西都需要感知能力、邏輯推理和決策能力，包括一些動(dòng)運(yùn)和操作的能力。所以我認(rèn)為通用人工智能是具身智能下一階段能夠發(fā)光發(fā)熱的一個(gè)巨大的動(dòng)力。

趙仲夏： 好的，謝謝奚老師。馮老師，您是如何看待具身智能和通用人物智能的關(guān)系的呢？

馮子勇：我也覺(jué)得是這樣的，通用人工智能這個(gè)詞，不同的單位有不同的解釋方式，有些人認(rèn)為只要大語(yǔ)言模型到了一個(gè)非常好的時(shí)刻，它就是通用人工智能。但有些認(rèn)為，還是要跟這個(gè)世界包含在一起才叫通用人工智能。

在我看來(lái)，剛才奚老師也說(shuō)了，通用人工智能肯定能幫助具身智能更好地提升，更好落地，更好發(fā)展。如果我們本身就是在這個(gè)世界里面的，這個(gè)世界的實(shí)踐也能提升我們自己的智能能力，那有沒(méi)有可能我們現(xiàn)在還沒(méi)看到，因?yàn)槲覀兌荚谟么笳Z(yǔ)言模型的能力，還沒(méi)有反饋給大語(yǔ)言模型。如果有一天，能夠做到物理的反饋，能給大語(yǔ)言模型帶來(lái)新的知識(shí)，這時(shí)候這兩個(gè)是不矛盾的，甚至可能是一體的。

奚偉： 互為補(bǔ)充。

趙仲夏： 對(duì)，勉諾你如何看待AGI？

陳勉諾： 我是這么理解，具身智能是通用人工智能的一個(gè)子集，通用人工智能追求的是在世界實(shí)現(xiàn)一個(gè)完全的智能，完全智能不可能只有數(shù)字世界里進(jìn)化，它也需要跟物理世界進(jìn)行有效交互，而且它的這個(gè)終極目標(biāo)是，我們經(jīng)常說(shuō)的知行合一，也就是不單單要知道知識(shí)，也能夠能行動(dòng)出來(lái)。

如果把知行合一當(dāng)做人類(lèi)的最高標(biāo)準(zhǔn)，那對(duì)于整個(gè)通用人工AGI來(lái)說(shuō)，不單單只有智能的上限，還要需要有action，需要有行動(dòng)，所以我認(rèn)為具身智能是通用人工智能的一個(gè)子集，而且是一個(gè)非常關(guān)鍵的環(huán)節(jié)，只有有了具身智能，才能跟物理世界進(jìn)行交互，才能感知物理世界，采集物理世界的數(shù)據(jù)，將物理世界的規(guī)律在智能的領(lǐng)域里進(jìn)一步地提升，形成一個(gè)雙向的閉環(huán)。所以我認(rèn)為具身智能、大語(yǔ)言模型、多模態(tài)模型其實(shí)都是整個(gè) AGI 或者通用人工智能的子集。

趙仲夏：好的，那我們進(jìn)行下一個(gè)話(huà)題。中國(guó)的人工智能和具身智能產(chǎn)業(yè)將走向何方？跟產(chǎn)業(yè)落地相關(guān)的。Mario，你最近有投資哪些具身或者機(jī)器人的企業(yè)？在調(diào)研走訪(fǎng)的時(shí)候有沒(méi)有看到一些跟行業(yè)落地有關(guān)的趨勢(shì)。

陳勉諾： 我們投了幾家目前比較活躍的幾家公司，一個(gè)是剛剛有提到的 Daya Robotics，第二個(gè)是方舟無(wú)限，做機(jī)械臂的，還有做靈巧手和電機(jī)的舞肌科技，以及之前投的像非夕機(jī)器人， 優(yōu)艾智和都在往具身智能這個(gè)方向形態(tài)去轉(zhuǎn)變。

在落地場(chǎng)景方面，坦白來(lái)說(shuō)，今天還屬于在技術(shù)發(fā)展的前端，甚至我認(rèn)為今天具身智能的時(shí)代都遠(yuǎn)還沒(méi)有到 GPT 3 時(shí)刻。所以今天大家去談落地有點(diǎn)為之過(guò)早，甚至可能還有很多的彎路，大家還要去摸索、去探索，可能要給產(chǎn)業(yè)更多的時(shí)間和空間，讓大家在技術(shù)方向做更多的探索。

在落地層面上，我覺(jué)得應(yīng)該核心關(guān)注幾個(gè)點(diǎn)。第一，因?yàn)槲以瓉?lái)是做SLAM做移動(dòng)機(jī)器人的創(chuàng)業(yè)者，在那一波里邊有哪些場(chǎng)景是解決不了的？我理解就是手腦協(xié)同、 manipulation 和智能泛發(fā)性帶來(lái)的操作泛化性這個(gè)層面上的任務(wù)。比如今天工廠(chǎng)的流水線(xiàn)上，那些沒(méi)有被傳統(tǒng)機(jī)械臂和沒(méi)有被 AGV 去解決場(chǎng)景，都是既有高價(jià)又極度需要人力的場(chǎng)景，這種場(chǎng)景其實(shí)是需要今天的具身智能很容易落地可能的場(chǎng)景。

另一個(gè)點(diǎn)是應(yīng)用場(chǎng)景具備一定的復(fù)雜性，比如 Dyna Robotics，他們?cè)诮鉀Q的場(chǎng)景是美國(guó)的一些餐廳后廚，后廚環(huán)境復(fù)雜性強(qiáng)，同時(shí)美國(guó)人力成本比較高，這種情況下需要有個(gè)機(jī)器人去解決。

我覺(jué)得今天可能真的有效的是找到一個(gè)智能程度相對(duì)比較低、人力成本非常高的場(chǎng)景，去替代人工成本，會(huì)是一些行之有效的場(chǎng)景。