隨著汽車自動(dòng)駕駛功能的日益普及，對(duì)駕駛員或車輛操作員的依賴越來(lái)越少，這意味著具有更高自主性的產(chǎn)品將需要復(fù)制駕駛員或操作員將執(zhí)行的所有各種活動(dòng)。 車輛和機(jī)器人技術(shù)必須利用人類駕駛員或操作員使用的所有感官，不僅是視覺(jué)或觸覺(jué)，還包括聲音和嗅覺(jué)。

根據(jù) SAE 的說(shuō)法：

• L2 級(jí)自動(dòng)駕駛意味著駕駛員必須...監(jiān)控環(huán)境。

• L3級(jí)自動(dòng)駕駛意味著不需要駕駛員監(jiān)控環(huán)境。

• 當(dāng)我們達(dá)到L4 級(jí)自動(dòng)駕駛時(shí)，車輛能夠......自行監(jiān)控環(huán)境。

瑞薩電子的 Reality AI 軟件已經(jīng)在幫助監(jiān)控當(dāng)今的這種環(huán)境。 不僅需要產(chǎn)品或車輛外部的環(huán)境才能實(shí)現(xiàn)高級(jí)駕駛或操作能力，還包括產(chǎn)品本身，以促進(jìn)防御性駕駛和預(yù)測(cè)性維護(hù)。 利用先進(jìn)的信號(hào)處理技術(shù)來(lái)分析環(huán)境產(chǎn)生的不同信號(hào)，Reality AI 工具可以促進(jìn)更高水平的自動(dòng)駕駛，使車輛或產(chǎn)品更加安全。

對(duì)于自動(dòng)駕駛的各個(gè)行業(yè)，瑞薩電子提供 Seeing with Sound 解決方案，該解決方案通過(guò)包含聲音的傳感模態(tài)來(lái)增強(qiáng)當(dāng)前的 ADAS/AD 傳感器套件。 當(dāng)我們開車時(shí)，我們不僅要利用我們的視覺(jué)，還要依靠聽(tīng)覺(jué)甚至振動(dòng)來(lái)導(dǎo)航周圍的環(huán)境。 我們從周圍的環(huán)境中聽(tīng)到了很多聲音，我們可能無(wú)法立即看到或根本看不到它們的來(lái)源。

借助 SWS，我們使用車輛的麥克風(fēng)或振動(dòng)聲學(xué)傳感器來(lái)監(jiān)聽(tīng)緊急車輛、道路上的其他車輛、行人，甚至騎自行車的人，并結(jié)合 RH850/U2A 等瑞薩電子 MCU。

圖像

Seeing with Sound （SWS） 應(yīng)用程序是《紐約時(shí)報(bào)》 最近一篇文章中 報(bào)道的一個(gè)問(wèn)題的完美解決方案，當(dāng)時(shí)機(jī)器人車輛從一輛拉著警報(bào)器的應(yīng)急車輛前經(jīng)過(guò)，從而延遲了其到達(dá)緊急情況。 機(jī)器人車輛對(duì)迎面而來(lái)的消防車有清晰的視線，但是無(wú)法識(shí)別它，但如果采用了我們的 SWS 解決方案，它肯定會(huì)聽(tīng)到警報(bào)聲。 該車輛周圍的聽(tīng)覺(jué)環(huán)境將提供視覺(jué)環(huán)境遺漏的信息，從而提供更好的整體環(huán)境圖像。

瑞薩電子的 Seeing with Sound 解決方案使車輛能夠聽(tīng)到周圍環(huán)境，并根據(jù)感興趣的噪音（如緊急警報(bào)聲）做出決策。 有時(shí)，我們會(huì)忽略開車時(shí)對(duì)聽(tīng)覺(jué)的利用程度。 即使在當(dāng)前的車輛中，我們也看到分心駕駛會(huì)將注意力從道路上轉(zhuǎn)移開，并且隨著被動(dòng)和主動(dòng)降噪技術(shù)的應(yīng)用，人類駕駛員更難識(shí)別來(lái)自環(huán)境的所有輸入。 隨著 SWS 被納入車輛，這將使它們更安全，并且更少地依賴警覺(jué)的駕駛員。 緊急車輛或自動(dòng)緊急制動(dòng)的法規(guī)和 Move Over 法律正在推動(dòng) SWS 等各種技術(shù)的實(shí)施。

隨著各行各業(yè)繼續(xù)朝著自動(dòng)駕駛方向發(fā)展，人工智能在車輛或產(chǎn)品運(yùn)行狀態(tài)狀態(tài)監(jiān)測(cè)以及防御性駕駛和預(yù)測(cè)性維護(hù)中的應(yīng)用將繼續(xù)增加。 作為駕駛員和操作員，我們通常會(huì)監(jiān)控產(chǎn)品或車輛的健康狀況并安排必要的維護(hù)，或?qū)④囕v移動(dòng)到安全的位置以便更好地觀察。 瑞薩電子的 Reality AI 工具可以分析來(lái)自各種傳感器（如加速度計(jì)、陀螺儀、IMU 和麥克風(fēng)等）的數(shù)據(jù)，以利用頻率/幅度或時(shí)域信號(hào)指標(biāo)開發(fā) ML 模型，以根據(jù)數(shù)學(xué)、統(tǒng)計(jì)和對(duì)數(shù)公式計(jì)算特征集。 甚至可以使用壓力和溫度傳感器。 為各種應(yīng)用生成健康狀態(tài)和剩余使用壽命指標(biāo)等結(jié)果，從過(guò)濾器到水或清洗泵到輪胎磨損等等。

考慮一下我們?cè)陂_車時(shí)監(jiān)控的所有不同變量，甚至是可以感覺(jué)到和聽(tīng)到的小碰撞、碰撞、叮當(dāng)聲和劃痕等異常情況。 Reality AI Tools 軟件可以分析這些不同的信號(hào)以對(duì)它們可能代表的內(nèi)容進(jìn)行分類。 如果石頭或巖石撞到您的擋風(fēng)玻璃怎么辦？ 在最初的電擊之后，駕駛員能夠確定應(yīng)該采取哪些預(yù)防措施。 未來(lái)的汽車如何知道發(fā)生了撞擊？ 在許多不同的情況下，包含聲音甚至觸摸或感覺(jué)可以提高自主能力。 隨著各行各業(yè)都在努力實(shí)現(xiàn)自動(dòng)駕駛，自動(dòng)駕駛產(chǎn)品將如何適應(yīng)不同的條件，以確保駕駛員和乘客的安全和舒適？