2017年 6月13日,由泰伯網(wǎng)主辦、主題為“空間大數(shù)據(jù)的崛起”的WGDC2017,在北京國家會議中心盛大開幕。大會由空間信息產(chǎn)業(yè)創(chuàng)新創(chuàng)業(yè)服務(wù)平臺泰伯主辦,秉承不斷引領(lǐng)和促進空間信息技術(shù)創(chuàng)新與變革的宗旨,WGDC已走過六個年頭,如今成為全球最具前瞻性的跨界創(chuàng)新風(fēng)向標(biāo)。
13日,由北京智能車聯(lián)產(chǎn)業(yè)創(chuàng)新中心、中關(guān)村智通智能交通產(chǎn)業(yè)聯(lián)盟協(xié)辦的高精度地圖與智能駕駛峰會開幕。峰會上,東軟睿馳汽車技術(shù)有限公司自動駕駛業(yè)務(wù)負責(zé)人劉偉發(fā)表了主題為“基于視覺的駕駛場景理解與自動駕駛集成”的演講。
以下為演講實錄(未經(jīng)本人核實):
劉偉:大家下午好!很高興也很激動組委會給我這么一次機會,讓我在信息大會上分享汽車的事兒。首先,聽了剛才大家很多介紹,有一點忐忑,忐忑在哪兒呢?講得都非常的面向市場,面向未來,當(dāng)然我這邊可能會讓大家有點失望,我講的是比較現(xiàn)實的,從我們這么多年經(jīng)驗角度來說,我們怎么去看自動駕駛這件事,怎么樣把這個產(chǎn)品帶到市場的。我?guī)硌葜v的題目是基于視覺的駕駛場景理解與自動駕駛的集成。
首先還是比較傳統(tǒng)的方式,先介紹一下我們自己。我們的集團是東軟,第一個上市的軟件公司,在全球擁有2萬多名員工,在中國有8個區(qū)域總部10個軟件研發(fā)基地,16個軟件開發(fā)與技術(shù)支持中心,60多個城市建立營銷與服務(wù)網(wǎng)絡(luò),在全球有8個子公司,東軟的產(chǎn)品和服務(wù)銷往全球95個國家和地區(qū),這些軟件不光在汽車領(lǐng)域包括在移動通信、醫(yī)療設(shè)備、金融、教育,可以看到基本上涉及到所有的領(lǐng)域。
東軟在汽車領(lǐng)域有25年的研發(fā)經(jīng)驗,東軟汽車電子軟件在全球前30汽車品牌中有80%中的運行,業(yè)務(wù)覆蓋歐洲、日本、美國,在汽車店方面我們有4千多名的員工,擁有25家車廠,16家Tier,11家內(nèi)容提供商,5大通訊企業(yè)。我們有中國最大的車聯(lián)網(wǎng)整體端到端級的運營商,也是最早獲得L5級別以及汽車電子A—SPLCE、L3的企業(yè)。
東軟在汽車領(lǐng)域BigCar的途徑,借助東軟在汽車領(lǐng)域這么多年的經(jīng)驗,創(chuàng)造以汽車為中心的平臺,去提供面向人、車、社會全系統(tǒng)的一個解決方案。這里面包括有金融、運營以及新能源,包括我們車展的這種剛才也提到了儀表、中控。在東軟這么一個汽車鏈的業(yè)務(wù)背景下,我們于前年2015年9月份,拿出了集團里面新興的幾個領(lǐng)域,分別是新能源、車聯(lián)網(wǎng)、自動駕駛成立了一家新的公司叫做東軟睿馳,致力于在新能源、智能網(wǎng)聯(lián)領(lǐng)域成為一家擁有卓越技術(shù)的創(chuàng)新型企業(yè),向全球市場提供產(chǎn)品、技術(shù)以及新能源汽車所需要的解決方案,為創(chuàng)造智能和豐富的生活方式和環(huán)保社會做出應(yīng)有的貢獻。
我是屬于ADAS業(yè)務(wù)線,基于視覺在駕駛場景的理解這個方面,我們有25年的電子行業(yè)經(jīng)驗,有18年的圖像處理方面的經(jīng)驗,12年來一直專注于輔助駕駛核心技術(shù)的研發(fā),研發(fā)人員有120多人,覆蓋了視頻分析、嵌入式高性能計算、傳感器融合等輔助駕駛系統(tǒng)相關(guān)領(lǐng)域,然后一些相關(guān)的專利和一些技術(shù)。我們的使命是為人類的交通安全與便捷做出一些貢獻,讓更多的人享受到我們的安全、便捷的產(chǎn)品和服務(wù)。
我們在各個領(lǐng)域里面都有的技術(shù)基礎(chǔ),下面進入整體介紹一下在視覺領(lǐng)域,為自動駕駛我們所做的工作。首先是自動駕駛需要解決的問題有哪些,首先要感知周圍的環(huán)境,要實現(xiàn)我們自身的定位,然后要了解我們的目的。我們在這里邊當(dāng)前提供的是哪些呢?第一個部分我們周圍的環(huán)境是哪些,我們基于車展的攝像頭去實現(xiàn)周圍的環(huán)境,為自動駕駛提供一個感知的空間。它的感知可能有很多種,包括攝像頭、超聲、激光雷達、毫米波雷達以及GPS,和提到的高精度地圖數(shù)據(jù)。我們作為自動駕駛這塊提供視覺的環(huán)境感知和理解,這里面展開來講涉及到很多細節(jié)的技術(shù)。包括車外的感知、車內(nèi)的感知,車外的這種道路環(huán)境以及交通參與者,以及路上的這些交通指示包括信號燈、包括這種限速標(biāo)志,包括路面的一些指示標(biāo)志這樣的一些事。車內(nèi)我們需要識別一些駕駛員的姿勢、駕駛員的注意力等等這些跟智能駕駛相關(guān)的人和車之間的標(biāo)準(zhǔn)。在車外環(huán)境感知這塊,交通環(huán)境、交通參與者這方面,行人、摩托車、車輛、動物,路面車道線、路面標(biāo)識、車位標(biāo)識,知識信息剛才提到交通牌等等。
這些是成果能夠識別哪些環(huán)境,包括車輛的識別,車道線的識別,車輛的檢測、行人的檢測、摩托車的檢測。這個是基于夜間的行人識別,基于測試攝像頭的人、車、摩托的識別。這個是面向不同類型、不同姿態(tài)對象的,比如說有非常復(fù)雜的一些行人過馬路的時候,以及這種正面、側(cè)面車輛的識別。車道線的識別,不同類型的隧道內(nèi),夜間,前邊是有迎面的燈光,以及直線、歪線這樣場景的車道線的識別,以及路面交通標(biāo)識的識別,包括斑馬線的識別。一些停車位的識別,因為我們車輛在泊車的時候使用可停車空間的識別。這是交通標(biāo)志的識別,限速標(biāo)志的識別,以及這些指示牌的識別,信號燈的識別。
在自動駕駛里面,因為除了L5到L6的階段有一些人接軌,需要我們在自動駕駛或者輔助駕駛工作的階段,實時的去監(jiān)控駕駛員的一種狀態(tài),使駕駛員能夠及時的去接管這樣一種行為,保證駕駛員能夠?qū)崟r的接管過來,否則的話會有導(dǎo)致更嚴(yán)重的事情。所以在自動駕駛的過程中,對于駕駛員姿態(tài)的監(jiān)控也是非常重要的,我們基于視覺主要有分別是檢測駕駛員他的精神狀態(tài),他的手勢識別,還有他的視線。這個是監(jiān)控駕駛員他的朝向,通過面部特征識別去判斷他視線的狀態(tài)。這個是根據(jù)眼部的特征去識別他的關(guān)注點。
在視覺的基礎(chǔ)上我們有一些車內(nèi)、車外的環(huán)境感知,有了這些感知我們在自動駕駛方面做了哪些集成?在集成的過程中又需要哪些關(guān)鍵的基礎(chǔ)?首先,也是大家最近提的比較熱的“深度學(xué)習(xí)”技術(shù),前面提到視覺是大部分使用傳統(tǒng)機器學(xué)習(xí)的方法去識別圖像中的特征,在深度學(xué)習(xí)的研究過程中,我們有兩個方面。首先第一個方面我們會通過這種深度學(xué)習(xí)為我們的機器學(xué)習(xí)提供一個更加準(zhǔn)確的標(biāo)志,就是說我們會提供一個機器學(xué)習(xí)的增值,因為深度學(xué)習(xí)它比機器學(xué)習(xí)本身更能夠通過對海量數(shù)據(jù)的處理得到樣本,用來機器學(xué)習(xí)識別結(jié)果的產(chǎn)生。
還有另外一方面,通過深度學(xué)習(xí)的一些裁減,實現(xiàn)一些輕量化的應(yīng)用,使它能夠在自動駕駛嵌入式載體中得到真實的應(yīng)外。然后在深度學(xué)習(xí)領(lǐng)域通過我們的一些研究,也在克服了一些比較基礎(chǔ)的問題,包括一些配置化的網(wǎng)絡(luò)識別更小的物體、更特殊的車輛以及傳統(tǒng)機器學(xué)習(xí)算法所不能解決的問題。還有一個是一種類似于激光雷達的場景,通過掃描的方式實現(xiàn)駕駛空間的識別。另外在深度學(xué)習(xí)的實踐領(lǐng)域,最重要的是我們目前使用了可量產(chǎn)的芯片,這個是通過我們在芯片設(shè)計領(lǐng)域深度的合作,結(jié)合我們控制算法提出了一種面向量產(chǎn)的SOC的結(jié)果方面,去實現(xiàn)剛才我提到的環(huán)境感知的技術(shù),真正應(yīng)用到自動駕駛和車輛上實現(xiàn)整個的產(chǎn)業(yè)化。
在高新能運算方面有兩個方面,就是我們使用了并行計算的技術(shù),提供給專門的模塊去進行,同時圖像的識別和處理交給GPU或者R來實現(xiàn),通過這種并行的處理將計算的能力提高了,就是在數(shù)據(jù)處理典型的算法方面有很大程度的提高,在綜合性能方面能夠得到至少50%的一個提高。這樣對于剛才我們提到的基于視覺的場景理解,自動駕駛的實現(xiàn)方面有很大的意義。在這個領(lǐng)域我們其實做了一些工程化的工作,比如說我們通過對神經(jīng)網(wǎng)絡(luò)做一些裁減,我們可能使用了一些輕量化的CNN,然后它比傳統(tǒng)的限量級方式檢測,還有相比完整CNN識別率方面它有一個性能和功耗的均衡,還有能夠達到量產(chǎn)ADS產(chǎn)品能夠滿足的性能水平。
我們在基礎(chǔ)上也有自己自動駕駛的研發(fā)平臺,然后這個上面我們其實也做了一些自動駕駛的探索,包括我們在園區(qū),還有之前在公共道路上做了很多自動駕駛的小樣。我們現(xiàn)在重點工作其實是剛才提到的,利用輕量化的神經(jīng)網(wǎng)絡(luò)然后利用可量產(chǎn)的芯片,硬件平臺去搭載我們現(xiàn)有的自動駕駛技術(shù),去支持現(xiàn)在L0、L1至L2的自動駕駛發(fā)展水平的需要。
在市場活動方面,我們也參加了今年在美國的CES,今年的CES可能是一個自動駕駛非常直觀的體現(xiàn),所有的車廠都拿著真正能跑的車去給大家嘗試,然后去在實際道路上跑。所以可以看到自動駕駛這件事非??靵淼轿覀兊纳钪校鋵崉偛抛畛跷乙蔡岬搅?,東軟有25年自動駕駛方面的經(jīng)驗,18年的圖像領(lǐng)域做的這些事情。說到這些其實我們也比較慚愧,這么長時間了,我們才意識到自動駕駛來的這么快,兩三年的時間把自動駕駛這件事在做已經(jīng)不是一條新聞了,就是大家都在做了,沒有做自動駕駛才是新聞,所以這個領(lǐng)域真的是非常的快。在CES上我們也支持了多家的芯片供銷,也支持了在歐美的一些供應(yīng)商去做一些自動駕駛方面的嘗試。
介紹一下我們當(dāng)前對自動駕駛產(chǎn)品的支持,這是我們ADAS使用了一個比較lol的傳感器,照現(xiàn)在的水平看應(yīng)該是屬于上一代的產(chǎn)品了,但是通過這樣非常小的平臺,我們也帶來了預(yù)警,車道線識別。在后視方面,因為現(xiàn)在的車都有后視的攝像頭,基于后視功能也帶來了移動物體的識別,橫穿物品的識別,這樣一些有特色的應(yīng)用。這個是剛才的一些場景簡單的介紹,下面有一個視頻可以看一下我們ADAS產(chǎn)品之間一些具體的演示。
(視頻演示)
這是一個標(biāo)清的攝像頭加一個芯片,這個是車機的ADAS界面,這是一個電動車輛檢測、摩托車檢測,在換道過程中會做一些交互的方式加預(yù)警。這個是夜間對于摩托車進行檢測,這是后視的預(yù)警系統(tǒng),也是通過測試盲區(qū)的物體識別對駕駛員的提示。移動物體識別區(qū)別于超聲雷達的特點,超聲雷達的范圍比較小,但是通過攝像頭所有移動的物體可以識別。橫穿物體檢測,對于畫面內(nèi)橫穿的物體作出一些提示,我們看泊車輔助,能讓我們可以看到車停在了哪。ADAS產(chǎn)品非常的便宜,在國內(nèi)也是比較有特色的產(chǎn)品,可以說是其他車商很少去從事的領(lǐng)域,我們針對后視攝像頭做了挖掘,去把價值場景帶到我們?nèi)粘D軌驊?yīng)用的十萬級別以下的車輛,可能都會安裝這樣的產(chǎn)品,成本非常的低。
第二代我們更換了一個更高等級的品牌,這個品牌使用了SUV的方案,里面有R,可以實現(xiàn)對高清攝像頭以及激光雷達和毫米波雷達的支持,同時有可以更好的去識別環(huán)境,去做更多更復(fù)雜的控制策略。它有幾種形態(tài),一種形態(tài)是一體機的形式,然后是集成在控制器上的攝像頭,安裝的位置是風(fēng)擋玻璃,行人碰撞AB就是緊急制動輔助,還有車道偏離輔助這樣控制的功能。還有一種使用兩個攝像頭分別去實現(xiàn)近距離大到秒,遠距離的識別去適應(yīng)更多更豐富的場景。
這邊一個視頻,提供一代產(chǎn)品功能,它使用了專用芯片,支持毫米波雷達,這是在它的基礎(chǔ)上開發(fā)的AEB、LKA的功能,這些都是基于車道線識別和前方車輛識別,以及基于測試攝像頭車位識別和自動泊車系統(tǒng)。因為目前的階段都是輔助駕駛,所以這一個過程中都是會有人去干預(yù)的,包括剛才的換檔。這是一個全速ACC的功能,所有以上提供的數(shù)據(jù)全是基于視頻的,可以說沒有超聲也沒有毫米波雷達,基于攝像頭的一件事,我們基于SOC的平臺可以做這些事,能夠把一個可量產(chǎn)的產(chǎn)品帶到市場上來,也就是剛才我們提到的L0到L3,3到5年市場上大家可能真正會用到的產(chǎn)品。交通標(biāo)識識別在產(chǎn)品里面沒有太多的去推廣應(yīng)用,這個應(yīng)該在未來的高精度地圖中完全可以取代視覺的作用而且更加可靠,這個是基于我們視覺然后結(jié)合了毫米波雷達去做的一個集成,將來提供更高的自動駕駛需求。
所以我們整個是提供了在開放平臺上去做視覺處理的預(yù)算,我們可以至少在歐美、日本會提供我們的算法,當(dāng)然在國內(nèi)是提供360度環(huán)視的方案,我們使用的芯片是量產(chǎn)的芯片,是可量產(chǎn)的芯片,而且不光是在LOC方面,我們還有控制類的MCO應(yīng)該也是面向自動駕駛能夠提供L3的要求,這是我所有的介紹,謝謝大家!
{{item.content}}