閉幕不久的“2018慕尼黑電子展”上，瑞薩電子中國(guó)汽車電子ADAS 應(yīng)用工程師應(yīng)毅辰在同期舉行的“中國(guó)國(guó)際汽車電子創(chuàng)新技術(shù)大會(huì)"上為大家發(fā)表了題為《ADAS和自動(dòng)駕駛的解決方案》的演講，介紹了瑞薩電子在無(wú)人駕駛、高級(jí)輔助駕駛方面的解決方案及市場(chǎng)風(fēng)向。
自動(dòng)駕駛的市場(chǎng)趨勢(shì)
無(wú)人駕駛是市場(chǎng)發(fā)展的趨勢(shì)，實(shí)際上無(wú)人駕駛和輔助駕駛，在現(xiàn)有車輛上已有一些應(yīng)用。從較基本的環(huán)視，高速公路的ACC，提高防碰撞及跟隨能力，已經(jīng)在很多車輛上得到實(shí)施和應(yīng)用。早在上世紀(jì)九十年代，汽車上就有定制化應(yīng)用，發(fā)展近三十年后，針對(duì)原有的場(chǎng)景，應(yīng)用的功能得到極大提升，逐步從低速和高速方面，向無(wú)人駕駛新領(lǐng)域邁進(jìn)一大步。
2017年，是環(huán)視系統(tǒng)的發(fā)展節(jié)點(diǎn)，加載更多的設(shè)備功能、輔助的功能，來(lái)完成遠(yuǎn)程泊車、自動(dòng)泊車。在高速方面，也會(huì)針對(duì)不同的一個(gè)應(yīng)用場(chǎng)景，更好的一個(gè)識(shí)別、控制，提升車輛的控制精度和功能，為今后高等級(jí)L3、L4等級(jí)，甚至L5等級(jí)做鋪墊。瑞薩電子專注這些應(yīng)用場(chǎng)景，發(fā)展完善對(duì)應(yīng)產(chǎn)品，支持現(xiàn)在車廠及各大一級(jí)供應(yīng)商。
瑞薩電子新型自動(dòng)駕駛理念
瑞薩電子提出了Renesas autonomy?平臺(tái)，針對(duì)ADAS感知部分、傳感器部分、以及車輛部分，搭建一個(gè)這樣的平臺(tái)，讓不同產(chǎn)品應(yīng)用得以應(yīng)用于ADAS整個(gè)場(chǎng)景之中。
攝像頭實(shí)際上視覺(jué)方面的算法非常復(fù)雜，其ADAS集成度非常高，整個(gè)系統(tǒng)安全可靠性要求也比較高。瑞薩電子發(fā)起了基于R-Car產(chǎn)品系列R-Car聯(lián)盟，與軟件、中間件、系統(tǒng)集成等全球各大供應(yīng)商積極合作，搭建Renesas autonomy?平臺(tái)，打通上下游生態(tài)圈，為客戶更好地提供更高效更易使用的平臺(tái)。
瑞薩電子全球合作伙伴
環(huán)視功能市場(chǎng)細(xì)分
ADAS環(huán)視是一個(gè)較容易的切入點(diǎn)，它對(duì)系統(tǒng)的成本、難度要求相對(duì)較低，是市場(chǎng)上較為成熟的輔助功能。對(duì)于入門級(jí)的環(huán)視，是基于模擬攝像頭的一個(gè)2D靜態(tài)環(huán)視。現(xiàn)在的3D環(huán)視，是基于數(shù)字高清攝像頭，目前已配置到很多汽車中，逐漸這會(huì)發(fā)展成為一個(gè)標(biāo)配。基于最新3D環(huán)視的方案，會(huì)有更多的輔助功能，如行人識(shí)別、車道線的識(shí)別。
針對(duì)3D環(huán)視方案，性能會(huì)有更多提升，加入更多輔助功能，停車時(shí)的錄制功能，錄制車輛行駛過(guò)程中的一些信息、遠(yuǎn)程自動(dòng)泊車功能，以及全程自動(dòng)泊車輔助功能，還有支持L2等級(jí)的自動(dòng)駕駛應(yīng)用。
環(huán)視的應(yīng)用場(chǎng)景，還可以加上一些額外的輔助功能，比如說(shuō)加更多的攝像頭，監(jiān)控車艙內(nèi)信息，補(bǔ)充更多的攝像頭去觀測(cè)到更廣闊的范圍。環(huán)視攝像頭還可以替代傳統(tǒng)的物理后視鏡，通過(guò)加屏幕的方式，使用虛擬后視鏡，為駕駛員提供更多信息。以上是環(huán)視市場(chǎng)的細(xì)分。
第三代R-CAR用于環(huán)視市場(chǎng)的優(yōu)勢(shì)
瑞薩電子最新推出的R-Car第三代產(chǎn)品是面向當(dāng)前發(fā)展迅猛的ADAS應(yīng)用，針對(duì)環(huán)視、自動(dòng)泊車等應(yīng)用場(chǎng)景，瑞薩規(guī)劃對(duì)第三代產(chǎn)品做了系統(tǒng)性規(guī)劃，以提供高性價(jià)比的應(yīng)用支持。
R-Car 第三代產(chǎn)品線分得很細(xì)，從入門級(jí)到高級(jí)都能提供相應(yīng)的支持，既可以做簡(jiǎn)單的3D靜態(tài)環(huán)視，也可以做3D任意視角的動(dòng)態(tài)環(huán)視，還可以在3D環(huán)視的基礎(chǔ)上加入更多的識(shí)別功能，從而實(shí)現(xiàn)輔助泊車功能。客戶可根據(jù)自己所需的功能，挑選合適產(chǎn)品，搭建自有平臺(tái)。為市場(chǎng)提供非常彈性的方案，也是瑞薩電子比較大的優(yōu)勢(shì)。
面向泊車輔助市場(chǎng)的第三代R-CAR產(chǎn)品
目前，我們會(huì)根據(jù)不同的顯示效果，嵌入一些高性能GPU，形成一個(gè)對(duì)車體的3D渲染，展示出酷炫的效果。R-Car 第三代產(chǎn)品同時(shí)集成了用于識(shí)別的性能加速核，提升識(shí)別功能的速度，來(lái)實(shí)現(xiàn)更優(yōu)的行車輔助功能。
目前環(huán)視應(yīng)用對(duì)顯示效果要求較高，我們采用了高帶寬的視頻輸入接口，引入130萬(wàn)像素、甚至200萬(wàn)像素的攝像頭，為環(huán)視系統(tǒng)、以及輔助泊車提供優(yōu)異的性能支撐。
下圖是瑞薩電子針對(duì)輔助泊車及環(huán)視系統(tǒng)的產(chǎn)品線規(guī)劃，紫色部分是已經(jīng)量產(chǎn)的產(chǎn)品，主要針對(duì)于以前的模擬攝像頭、2D環(huán)視及低端的3D環(huán)視應(yīng)用。藍(lán)色部分是新的第三代產(chǎn)品，提供從入門級(jí)到高級(jí)環(huán)視應(yīng)用場(chǎng)景的差異化產(chǎn)品。
R-CAR用于泊車輔助系統(tǒng)的主要優(yōu)勢(shì)
這里向大家介紹一下R-Car系列在泊車系統(tǒng)當(dāng)中的主要優(yōu)勢(shì)，如之前提到的用于視覺(jué)輔助的加速核。R-Car系列可支持功能選擇，這是輔助駕駛、高級(jí)自動(dòng)駕駛非常重要的一部分，因?yàn)檫@些功能會(huì)涉及到控制，控制功能會(huì)涉及到駕駛員、乘客的生命安全。因此，我們?cè)谛酒幸肓薎SO26262標(biāo)準(zhǔn)，以去滿足車輛的安全需求，提升整個(gè)產(chǎn)品的系統(tǒng)安全性。
瑞薩電子經(jīng)驗(yàn)證的V3X圖形處理
慕尼黑電子展瑞薩展臺(tái)上展示了一款合作開發(fā)的基于R-Car V3M系列的環(huán)視系統(tǒng)，它是一款3D環(huán)視方案，可顯示任意視角，此外基于此方案還可加入更多識(shí)別功能。我們的合作伙伴 Cogent Embedded 還可以為中國(guó)客戶提供一定程度的定制系統(tǒng)，針對(duì)不同的應(yīng)用場(chǎng)景做一系列的開發(fā)。
R-CAR V3X支持3路數(shù)據(jù)流
R-Car V3M 是針對(duì)車載應(yīng)用場(chǎng)景而開發(fā)的，優(yōu)化了芯片內(nèi)部架構(gòu)。標(biāo)準(zhǔn)的單一環(huán)視可能只是用來(lái)顯示環(huán)視，新增功能很難實(shí)現(xiàn)。如果你需要加行車記錄儀，可能需要外部添加模塊;如果你要加識(shí)別，可能還需要更強(qiáng)大的芯片。而R-Car V3M可以在一顆芯片中實(shí)現(xiàn)所有功能，通過(guò)優(yōu)化的內(nèi)部系統(tǒng)總線，實(shí)現(xiàn)三種數(shù)據(jù)流的一個(gè)并行運(yùn)算。
這里展示的是并行處理的環(huán)視效果，可同步顯示在畫面上，這部分的視頻輸入也可以同步到內(nèi)部的加速核進(jìn)行識(shí)別，實(shí)現(xiàn)諸如障礙物識(shí)別、車道線識(shí)別等功能。如果你需要行車輔助、行車記錄的功能，只需要使用內(nèi)部視頻編碼器，對(duì)視頻進(jìn)行一個(gè)編碼，儲(chǔ)存到內(nèi)部數(shù)據(jù)文件，或者儲(chǔ)存到某個(gè)公有云，可在手機(jī)或車機(jī)上觀看。
第三代R-CAR中集成ISP
第三代產(chǎn)品最具優(yōu)勢(shì)的是集成了ISP，我們友商的競(jìng)品多是使用外置ISP。但我們通過(guò)內(nèi)置ISP，由主控芯片進(jìn)行計(jì)算，對(duì)圖象的畫質(zhì)帶來(lái)非常大的改進(jìn)。環(huán)視系統(tǒng)有一個(gè)重要特征是同步，而我們通過(guò)主控芯片及內(nèi)置ISP，對(duì)攝像頭數(shù)據(jù)提供低延遲的同步，同時(shí)還提升在亮度、白平衡、序列識(shí)別等方面的顯示效果。
IMR 圖像失真矯正
因?yàn)榄h(huán)視攝像頭一般會(huì)使用一些廣角攝像頭，可能導(dǎo)致魚眼失真。為了解決魚眼失真的問(wèn)題，瑞薩電子在R系列產(chǎn)品中加入了一個(gè)叫做IMR圖象失真校正引擎，可以用硬件去實(shí)現(xiàn)攝像頭的基電失真校正，而不需CPU作任何干預(yù)。我們這個(gè)IMR引擎還可以用來(lái)作3D的一些拼接效果，來(lái)替代CPU做出同樣效果的計(jì)算。
以上是瑞薩電子在V3系列上的總視覺(jué)IP策略。
瑞薩電子計(jì)算機(jī)視覺(jué)IP戰(zhàn)略
目前市面上很多競(jìng)品的架構(gòu)，如依賴強(qiáng)大的CPU或GPU進(jìn)行識(shí)別，實(shí)現(xiàn)控制。瑞薩的方案是嵌入很多的加速引擎，來(lái)彌補(bǔ)GPU或CPU的運(yùn)算速度和功能。GPU可能相對(duì)來(lái)說(shuō)比較靈活，但功耗高;CPU的運(yùn)行效率低于專用的加速核，因而我們?cè)谡麄€(gè)芯片中嵌入多種加速核，還有IP引擎，專門用于識(shí)別，之后新的V3系列里面還會(huì)嵌入專門用于深度學(xué)習(xí)的CNN引擎。
通過(guò)整合所有的硬件加速引擎，并結(jié)合CPU、GPU，瑞薩電子為您提供了一個(gè)完整的視覺(jué)處理加速方案。
系統(tǒng)架構(gòu)
現(xiàn)在讓我們來(lái)看一下環(huán)視應(yīng)用的系統(tǒng)架構(gòu)。因?yàn)榄h(huán)視系統(tǒng)相對(duì)簡(jiǎn)單一點(diǎn)，主要就是我們的一個(gè)SoC，加入4個(gè)攝像頭，分別安裝在車的前端或后端、左端、右端，去捕獲到車周圍360度的一個(gè)視覺(jué)的信息。通過(guò)一些中控芯片，提供一個(gè)拼接顯示。有些可能還會(huì)加上通用接口，與車身上的中控導(dǎo)航作一些交互。我們還會(huì)預(yù)留一些像以太網(wǎng)或者CAN-FD這類的接口，以提供通訊相關(guān)功能。
針對(duì)較高級(jí)的環(huán)視系統(tǒng)，我們也會(huì)輸入像前面提到的V3系列和M3搭配使用一個(gè)應(yīng)用場(chǎng)景。M3主要面向車載娛樂(lè)應(yīng)用場(chǎng)景，對(duì)于視覺(jué)處理的性能不如V3系列那么強(qiáng)大，如果你需要很強(qiáng)精度很高的識(shí)別功能，就需要進(jìn)行深度學(xué)習(xí)，來(lái)識(shí)別障礙物，識(shí)別它的車道，M3系統(tǒng)略有不足，可以搭配一個(gè)V系列產(chǎn)品滿足一些像輔助泊車、自動(dòng)泊車的應(yīng)用場(chǎng)景。
正如前面提到，我們產(chǎn)品都會(huì)有一些視覺(jué)加速的硬件核，這里就是我們視覺(jué)加速使用到一個(gè)IMP引擎。這個(gè)IMP引擎實(shí)際上在我們的產(chǎn)品線，已存在了很長(zhǎng)時(shí)間，早在以前的產(chǎn)品像SH7766這樣的模擬環(huán)視芯片，就已經(jīng)有了IMP引擎。其成熟性和功能性，都已經(jīng)得到了市場(chǎng)驗(yàn)證。我們針對(duì)這個(gè)IMP的引擎，也提出了很多的優(yōu)化和提升，應(yīng)用在最新的這代V3芯片里面。
這個(gè)Renesas autonomy ? 操作面的平臺(tái)，除了攝像頭這方面感知之外，我們還會(huì)有融合和判斷，這個(gè)相當(dāng)于就是無(wú)人駕駛的一個(gè)大腦，為車提出一個(gè)決策、作一些路徑規(guī)劃、傳感器信息融合以及控制。
這方面我們也有類似產(chǎn)品，請(qǐng)看瑞薩電子的產(chǎn)品路線圖，現(xiàn)在我們針對(duì)像L2、L3等級(jí)一些輔助駕駛，一般半自動(dòng)駕駛搭配R-Car V系列芯片可作為重要解決方案提出。
R-Car H3因?yàn)榫邆鋸?qiáng)大的CPU性能，是一個(gè)八核芯片，內(nèi)部有4個(gè)A57搭配4個(gè)A53，從而令它的計(jì)算性能非常強(qiáng)大，同時(shí)它也支持LPDDR4內(nèi)存，為傳感器提供了超強(qiáng)的一個(gè)運(yùn)行帶寬，可實(shí)現(xiàn)L2等級(jí)的自動(dòng)駕駛，如此優(yōu)異的硬件平臺(tái)，客戶可在上面作很多的算法開發(fā)。如果在平臺(tái)上需要強(qiáng)大的一個(gè)視覺(jué)處理屏，就可以像前面介紹的那樣，搭配上R-Car V3系列的產(chǎn)品。
針對(duì)之后的L3以及L4這種較高等級(jí)的自動(dòng)駕駛，我們下一代產(chǎn)品也在對(duì)此進(jìn)行規(guī)劃，CPU核將會(huì)得到更多提升，它同時(shí)也會(huì)把V3這塊視覺(jué)的另外一塊SoC集成到同一顆里面去應(yīng)用，帶芯片的方案去提出這樣子一個(gè)解決方案。同時(shí)它的功能安全等級(jí)也會(huì)從原來(lái)的ASIL-B等級(jí)，會(huì)提升到ASIL-C或ASIL-D等級(jí)，更加完整地去滿足自動(dòng)駕駛這樣子一個(gè)安全需求。
面對(duì)如此復(fù)雜的應(yīng)用場(chǎng)景，客戶如果要自己開發(fā)硬件會(huì)比較困難，為此瑞薩電子也推出了一些開發(fā)套件，為我們的客戶及感興趣的一些同行進(jìn)行先期性開發(fā)和驗(yàn)證。HAD解決方案套件內(nèi)部集成了兩顆R-Car H3 SoC和一顆RH850 MCU，搭建了這個(gè)平臺(tái)。基于這個(gè)平臺(tái)，除了做一些先期的算法驗(yàn)證、系統(tǒng)集成，去做先期性研究，為之后的產(chǎn)品導(dǎo)入，加速它的一個(gè)導(dǎo)入速度。
我們與第三方合作進(jìn)一步開發(fā)更加成熟的開發(fā)套件。與TTTECH的合作，開發(fā)出了HADP平臺(tái)，供大家參考。這就是我們和TTTECH聯(lián)合開發(fā)的，他們?cè)谖覀兊挠布脚_(tái)上面，搭載了他們具有優(yōu)勢(shì)的以太網(wǎng)系統(tǒng)集成方案，集成在一起提供給客戶，以加速他們的開發(fā)。
關(guān)于我們
瑞薩電子是全球首屈一指的微控制器供應(yīng)商和高級(jí)半導(dǎo)體解決方案的首選供應(yīng)商，產(chǎn)品包括微控制器、SoC解決方案和各種模擬與功率器件。我們將在這里與您分享瑞薩電子的最新產(chǎn)品技術(shù)資訊和新聞動(dòng)態(tài)!
