為什么需要時(shí)間同步？

在自動(dòng)駕駛中，需要用到很多傳感器的數(shù)據(jù)（Lidar，Camera，GPS/IMU)，如果計(jì)算單元接收到的各傳感器的消息時(shí)間不統(tǒng)一，則會(huì)造成例如障礙物識(shí)別不準(zhǔn)等問題。

時(shí)間同步包含哪些內(nèi)容？

自動(dòng)駕駛中，時(shí)間同步可以分為幾部分的內(nèi)容：統(tǒng)一時(shí)鐘源，硬件同步，軟件同步。其中硬件時(shí)間同步主要針對(duì)相機(jī) 。

1.統(tǒng)一時(shí)鐘源

假設(shè)各傳感器都有自己的內(nèi)部時(shí)鐘，但由于每個(gè)時(shí)鐘的鐘漂不一樣，導(dǎo)致各時(shí)鐘之間存在時(shí)間差，所以需要統(tǒng)一各傳感器的時(shí)間源。

一般采用GPS時(shí)間作為統(tǒng)一時(shí)間源，通過GPS給各個(gè)傳感器提供基準(zhǔn)時(shí)間，各傳感器根據(jù)提供的基準(zhǔn)時(shí)間校準(zhǔn)各自的時(shí)鐘時(shí)間。

各傳感器根據(jù)已經(jīng)校準(zhǔn)后的各自時(shí)間為各自獨(dú)立采集的數(shù)據(jù)加上時(shí)間戳信息，來做到所有傳感器時(shí)間戳同步。

統(tǒng)一時(shí)鐘源的常見方式有兩種，一種是基于GPS的“PPS+NMEA”，另一種是基于以太網(wǎng)的IEEE 1588（或IEEE 802.1AS）時(shí)鐘同步協(xié)議。

a.PPS+NMEA

GPS能夠從衛(wèi)星獲得高精度的時(shí)鐘信號(hào)，因此通常作為整個(gè)系統(tǒng)的時(shí)鐘源。常規(guī)的GPS單元都支持輸出精確到毫秒的秒脈沖信號(hào)PPS和包含年月日時(shí)分秒信息的NMEA指令，通過PPS和NMEA的組合就能夠?qū)崿F(xiàn)對(duì)激光雷達(dá)或主機(jī)的毫秒級(jí)時(shí)鐘同步。

PPS+NMEA的優(yōu)點(diǎn)是協(xié)議簡(jiǎn)單，容易實(shí)現(xiàn)；缺點(diǎn)是必須基于RS232。多個(gè)設(shè)備之間實(shí)現(xiàn)同步比較困難。

b.PTP（IEEE 1588或IEEE 802.1AS）

PTP(Precision Time Protocol，1588 V2)是基于以太網(wǎng)的高精度時(shí)鐘同步協(xié)議，能夠?qū)崿F(xiàn)以太網(wǎng)中多個(gè)從節(jié)點(diǎn)（各種傳感器）與主節(jié)點(diǎn)（主機(jī)）之間的亞微秒級(jí)時(shí)鐘同步，前提是所有節(jié)點(diǎn)之間都通過以太網(wǎng)互聯(lián)，交換機(jī)支持PTP協(xié)議，并且每個(gè)節(jié)點(diǎn)都支持PTP協(xié)議。

與PTP同時(shí)出現(xiàn)的還有一種NTP，即網(wǎng)絡(luò)時(shí)間協(xié)議，不同的是PTP是在硬件級(jí)實(shí)現(xiàn)的，NTP是在應(yīng)用層級(jí)別實(shí)現(xiàn)的 。

2.硬件同步

由于每種傳感器的采樣頻率不一致，如lidar通常為10Hz，camera通常為25/30Hz，不同傳感器之間的數(shù)據(jù)傳輸還存在一定的延遲，那么可以通過尋找相鄰時(shí)間戳的方法找到最近鄰幀，但如果兩個(gè)時(shí)間戳相差較大，且傳感器或障礙物又在運(yùn)動(dòng)，那么最終會(huì)得到較大的同步誤差。這個(gè)情況可以采用硬件同步觸發(fā)的方法來緩解查找時(shí)間戳造成的誤差現(xiàn)象。

那如何實(shí)現(xiàn)硬件同步呢？也就是在激光雷達(dá)和相機(jī)的時(shí)間源都統(tǒng)一到GPS時(shí)間后，如何保證他們同步觸發(fā)采集呢？方式是以PPS信號(hào)為觸發(fā)信號(hào)，實(shí)現(xiàn)激光雷達(dá)和相機(jī)均在PPS信號(hào)上升沿的時(shí)候采集數(shù)據(jù)，且打上各自時(shí)鐘的時(shí)間戳。由于PPS的頻率只有1Hz，所以通常需要一個(gè)設(shè)備把PPS信號(hào)轉(zhuǎn)發(fā)為任意頻率、但是跟PPS信號(hào)同相位的方波，這樣就可以控制相機(jī)的采集頻率了。

用外部信號(hào)觸發(fā)相機(jī)比較好理解，那如何保證激光雷達(dá)在PPS信號(hào)上升沿的時(shí)候采集數(shù)據(jù)呢？激光雷達(dá)制造商想出了一個(gè)相位鎖定功能，也就是輸入PPS，但PPS上升沿到來時(shí)，激光雷達(dá)的激光束恰好旋轉(zhuǎn)到一定的角度。

于是乎，我們?cè)O(shè)置激光雷達(dá)的相位鎖定角度為相機(jī)視野中央，如果相機(jī)視野朝著車輛正前方，激光雷達(dá)的坐標(biāo)系也是朝著車輛正前方的話，相位鎖定角度應(yīng)該是0度。那么問題就這樣解決了，每當(dāng)激光雷達(dá)的激光束旋轉(zhuǎn)到0度位置，也就是相機(jī)視野正中央，PPS上升沿剛好到來，相機(jī)也因此觸發(fā)，就這樣就實(shí)現(xiàn)了激光雷達(dá)和相機(jī)的同步采集。但是，由于激光雷達(dá)和相機(jī)采集數(shù)據(jù)的方式不同，我們只能近似地保證激光雷達(dá)和相機(jī)的同步采集。如下圖所示，激光雷達(dá)的激光束不斷地360度旋轉(zhuǎn)，假設(shè)幀率為10Hz的話，那么一幀點(diǎn)云中采集時(shí)刻最早的一個(gè)點(diǎn)和采集時(shí)刻最晚的一個(gè)點(diǎn)時(shí)間相差100ms。而相機(jī)就不同了，相機(jī)是瞬間曝光的，因此圖像里面所有像素點(diǎn)的采集時(shí)刻都是一樣的。這就導(dǎo)致了我們只能近似地保證激光雷達(dá)和相機(jī)的同步采集。具體方法就是當(dāng)激光束旋轉(zhuǎn)到相機(jī)視野中央的時(shí)候，觸發(fā)相機(jī)，這樣就保證了相機(jī)視野內(nèi)的點(diǎn)云采集時(shí)間是跟圖像采集時(shí)間是近似的。為什么說是近似的呢？對(duì)于相機(jī)視野中央的那些點(diǎn)云，它們的采集時(shí)間是跟圖像采集時(shí)間一致的，但是對(duì)于相機(jī)視野邊緣的那些點(diǎn)云，它們的采集時(shí)間就跟圖像采集時(shí)間要有一定的時(shí)間偏差了，根據(jù)相機(jī)視野的大小和點(diǎn)云采集幀率的不同，時(shí)間偏差可能會(huì)有5ms~20ms左右。

3.軟件同步

當(dāng)兩傳感器的采集時(shí)刻不一致，但又想得到同一時(shí)刻下兩傳感器的結(jié)果，就可以使用軟件同步的方式。目前常采用的軟件同步方式為內(nèi)插外推法，此方法適用于傳感器間幀率不存在倍數(shù)關(guān)系的情況，或者傳感器有幀率不穩(wěn)定的情況。主要利用兩個(gè)傳感器幀上的時(shí)間標(biāo)簽，計(jì)算出時(shí)間差，然后通過包含有運(yùn)動(dòng)信息的目標(biāo)幀與時(shí)間差結(jié)合，對(duì)幀中每一個(gè)目標(biāo)的位置進(jìn)行推算，推算出新的幀時(shí)各個(gè)目標(biāo)的位置，并于原有的兩幀之間建立新的幀。