近期,「GPT之父」Alec Radford被曝離職OpenAI! 誰也沒想到,OpenAI圣誕12日的特別活動(dòng)接近尾聲時(shí),居然迎來這樣一枚炸彈。 OpenAI這次失去的,是一位元老級(jí)的骨干成員,是真正開創(chuàng)ChatGPT這一迄今為止最大AI突破的人。 2016年加入OpenAI后,他不僅是GPT-1、GPT-2、CLIP、Whisper的一作,還為GPT-3、GPT-4、DALL-E 2/3等技術(shù)突破提供了支持,是OpenAI多項(xiàng)美國專利的發(fā)明人。 他在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域非常高產(chǎn),論文引用量高達(dá)19萬,多篇入選NeurIPS、ICLR、ICML等著名會(huì)議,其合作者包括llya、lan Goodfellow等知名學(xué)者。 根據(jù)據(jù)The Information報(bào)道,就在周四,Radford宣布離職,即將開展獨(dú)立研究。據(jù)悉,他之后計(jì)劃同時(shí)和OpenAI以及其他AI開發(fā)者合作。 OpenAI研究負(fù)責(zé)人Mark Chen表示,「我們對Alec及其貢獻(xiàn)深表敬意和感謝,并期待在他探索獨(dú)立研究的同時(shí)繼續(xù)與他合作項(xiàng)目! 德?lián)渲浮penAI高級(jí)研究科學(xué)家曾這樣評(píng)價(jià)道,「OpenAI真正開始嶄露頭角,是從聘請了一位當(dāng)時(shí)名不見經(jīng)傳的研究員Alec Radford開始的」。 也有人給出了意味深長的發(fā)問:如果OpenAI真的處于AGI的邊緣,為什么這些人還要離開? 真正的「ChatGPT之父」 2016年,對于OpenAI來說,注定是一個(gè)轉(zhuǎn)折點(diǎn)。 23歲的傳奇AI研究員Alec Radford選擇加盟,這個(gè)決定不僅僅改變了他的職業(yè)生涯,更為AI的發(fā)展掀開了嶄新的一頁。 有人說,Radford扮演的角色,如同谷歌創(chuàng)始人拉里佩奇發(fā)明了PageRank。 他是一位內(nèi)斂、低調(diào)的研究者,幾乎很少露臉,也從未接受過任何采訪。 此前,Radford曾透露自己最大興趣是,讓神經(jīng)網(wǎng)絡(luò)能夠與人類進(jìn)行真正的對話。 入職OpenAI后,他開啟的第一個(gè)實(shí)驗(yàn)是,用20億條Reddit評(píng)論訓(xùn)練預(yù)言模型,沒想到卻以失敗告終。 當(dāng)時(shí),總裁Greg Brockman鼓勵(lì)到,沒關(guān)系,再試試吧。 由于受限于算力,Radford只能在單一領(lǐng)域中進(jìn)行實(shí)驗(yàn)。接下來,他選擇了亞馬遜電商平臺(tái)評(píng)論,嘗試讓語言模型簡單預(yù)測,并生成和用戶評(píng)論的下一個(gè)字符。 看似平凡的選擇,卻帶來了意外的收獲:模型不僅能預(yù)測評(píng)論下一個(gè)字符,還能自主判斷評(píng)論的情感傾向(積極/負(fù)面),甚至根據(jù)要求生成不同風(fēng)格的評(píng)論。 文章鏈接:https://arxiv.org/pdf/1704.01444 正是這個(gè)突破,引起了OpenAI前首席科學(xué)家Ilya的注意。他接著鼓勵(lì)Radford進(jìn)一步擴(kuò)展研究范圍——在亞馬遜評(píng)論數(shù)據(jù)之外再次嘗試。 2017年,Transformer奠基之作出世,讓Radford的研究迎來質(zhì)的飛躍。 他聯(lián)手Ilya一起,創(chuàng)造了共有1.17億參數(shù)的模型,并將其命名為「Generative Pre-trained Transformer」(GPT)。 這個(gè)模型在7000本未出版的學(xué)習(xí)書籍、Quora問答,以及各類考試文章中,展現(xiàn)出了前所未有的預(yù)言理解能力。 更令人驚艷的是,GPT還具備了零樣本學(xué)習(xí)的能力,在未經(jīng)訓(xùn)練的領(lǐng)域,同樣擁有專業(yè)級(jí)水平。 這種超出預(yù)期的能力,讓團(tuán)隊(duì)異常興奮,同時(shí)引發(fā)了他們對AI方向的深度思考。 有趣的是,當(dāng)初代GPT問世時(shí),Radford和團(tuán)隊(duì)選擇了一種低調(diào)的方式,將論文直接發(fā)布在arXiv上,并非提交各大頂會(huì)。 a16z著名風(fēng)投家Marc Andreessen曾這樣描述道,「在2018年-2019年之間,他隱藏在人工智能的角落,默默地在自己的領(lǐng)域潛心研究」。 正是這份堅(jiān)持,最終改變了人工智能的發(fā)展軌跡。 這正是從這一刻起,傳奇GPT系列開啟了。 OpenAI,正在失去核心員工 Alec Radford的離開,如同一枚重磅炸彈,炸得網(wǎng)友們驚愕不已。 有人說,這位元老對于OpenAI和整個(gè)AI研究的影響被低估了。甚至可以說,他的影響力完全不亞于Ilya。 就在Ilya幾天前的NeruIPS 2024演講中,他還特別提到,感謝自己的前同事Alec Radford 因?yàn)樗粌H是GPT的主要作者,還可能是公司每個(gè)重要研究方向的帶頭人。 UC伯克利AI博士Dan Hendrycks表示,自己排名的AI學(xué)術(shù)影響力榜單中,何愷明和Alec Radford是妥妥的TOP 2。 CS教授、DeepMind高級(jí)顧問Jeff Clune表示,我們應(yīng)該重新為Alec Radford正名。 他是AI研究領(lǐng)域最重要、但卻沒有知名度的人,被低估的人,在重大進(jìn)步后隱身的人。 Clune教授認(rèn)為,Alec Radford應(yīng)該作為現(xiàn)代生成式AI之父被載入史冊。 許多科學(xué)家和研究者表示同意:沒錯(cuò),Alec Radford是真正的MVP。 好在他的離開雖然對OpenAI是個(gè)損失,但他未來肯定不會(huì)缺GPU,如果做一些開放研究的話,整個(gè)世界都會(huì)受益。 也有人猜測道,每當(dāng)OpenAI發(fā)布重大模型前后,總會(huì)有人離開。比如高級(jí)語音模式Her發(fā)布后,CTO Mira Murati就離職了。 按照這個(gè)規(guī)律,或許GPT-4.5明天就要發(fā)布。(對于GPT-4.5的發(fā)布時(shí)間,此前也有很多類似的預(yù)測) 對于Alec Radford的離開,很多人表示理解。 一旦初創(chuàng)公司經(jīng)歷最初的飛速發(fā)展期后穩(wěn)定下來,選擇離開公司是很正常的。 他們有人脈、有履歷,可以在任何地方找到想要的工作。甚至還能創(chuàng)辦自己的公司,拿到數(shù)十億美元的融資。 諷刺的是,就在一年前,有網(wǎng)友表示OpenAI的分裂不會(huì)對AI未來的軌跡有多大影響,因?yàn)槌晒澈笳嬲奶觳攀窍馡lya和Alec Radford這樣的科學(xué)家。 「只要他們還在,OpenAI就不會(huì)有任何影響! 但如今,OpenAI的根基正在動(dòng)搖。 總結(jié)一下,OpenAI在2024年已經(jīng)流失多位元老。 包括首席技術(shù)官M(fèi)ira Murati、研究負(fù)責(zé)人Bob McGrew,聯(lián)創(chuàng)兼研究員John Schulman,研究副總裁Barret Zoph,安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)人Lilian Weng,聯(lián)創(chuàng)兼前首席科學(xué)家Ilya Sutskever,前安全負(fù)責(zé)人Jan Leike,現(xiàn)在又多了Aled Rad。 可以預(yù)見,接下來這份離職名單還會(huì)不斷壯大。 參考資料: https://www.wired.com/story/what-openai-really-wants/ https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs 本文來源:新智元 |
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選