本發(fā)明屬于物聯(lián)網(wǎng)、人工智能和無人機(jī)，尤其涉及一種云邊協(xié)同的無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)裝置。

背景技術(shù)：

1、隨著無人機(jī)技術(shù)的迅速發(fā)展及其應(yīng)用領(lǐng)域的不斷擴(kuò)展，無人機(jī)在民用和軍用領(lǐng)域中的使用頻率日益增加。然而，無人機(jī)數(shù)量的增長也帶來了空域安全的新挑戰(zhàn)，例如未經(jīng)授權(quán)的無人機(jī)活動(dòng)可能對(duì)國家安全、公共安全和個(gè)人隱私構(gòu)成威脅。為了應(yīng)對(duì)這些潛在威脅，有必要開發(fā)一種用于檢測(cè)、跟蹤并預(yù)測(cè)無人機(jī)的行為軌跡的裝置，能夠快速響應(yīng)以確保空域的安全。

2、近年來，隨著物聯(lián)網(wǎng)和人工智能技術(shù)的發(fā)展，出現(xiàn)了一些基于物聯(lián)網(wǎng)的無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)方法。先進(jìn)的人工智能與機(jī)器學(xué)習(xí)算法，包括深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，顯著提升了目標(biāo)檢測(cè)、識(shí)別和分類的準(zhǔn)確性，特別是在圖像識(shí)別和視頻分析方面，卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體的表現(xiàn)尤為突出。此外，借助物聯(lián)網(wǎng)技提供的云邊協(xié)同，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)傳輸和遠(yuǎn)程控制，使得無人機(jī)能夠更好地融入智慧城市、智能交通等應(yīng)用場景中，從而極大地增強(qiáng)了系統(tǒng)的整體性能和應(yīng)用范圍。

3、然而，傳統(tǒng)的方法在進(jìn)行無人機(jī)目標(biāo)檢測(cè)、跟蹤及軌跡預(yù)測(cè)時(shí)存在一些顯著的不足之處：響應(yīng)速度慢：傳統(tǒng)方法依賴于地面站或單一的中心化處理單元，這可能導(dǎo)致數(shù)據(jù)傳輸延遲以及決策過程中的時(shí)間消耗，從而降低了系統(tǒng)的實(shí)時(shí)性和響應(yīng)效率。檢測(cè)精度低：由于環(huán)境因素（如天氣條件、光照變化）的影響，傳統(tǒng)方法難以保持穩(wěn)定的高精度檢測(cè)率，特別是在復(fù)雜多變的環(huán)境中。適應(yīng)性差：現(xiàn)有系統(tǒng)通常針對(duì)特定場景設(shè)計(jì)，當(dāng)遇到新的或非預(yù)期的情況時(shí)，其性能可能會(huì)大幅下降，無法靈活調(diào)整以適應(yīng)不同的操作環(huán)境。信息處理能力有限：傳統(tǒng)的無人機(jī)監(jiān)控系統(tǒng)大多不具備強(qiáng)大的數(shù)據(jù)分析能力和智能決策支持功能，難以實(shí)現(xiàn)對(duì)大規(guī)模、高速移動(dòng)的目標(biāo)的有效管理。

4、為了解決上述問題，本發(fā)明提出了一種基于云邊協(xié)同的無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)裝置。該發(fā)明基于軟硬一體化的裝置，結(jié)合先進(jìn)的人工智能算法，來提高檢測(cè)精度、響應(yīng)速度，增強(qiáng)系統(tǒng)的適應(yīng)性和穩(wěn)定性。

5、綜上所述，本發(fā)明旨在克服現(xiàn)有技術(shù)的局限性，提供一個(gè)更加智能、快速反應(yīng)且適應(yīng)性強(qiáng)的軟硬一體化裝置，以提升對(duì)無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)的能力，增強(qiáng)空域安全。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供了一種云邊協(xié)同的無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)裝置。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種云邊協(xié)同的無人機(jī)目標(biāo)檢測(cè)跟蹤與軌跡預(yù)測(cè)裝置，所述裝置包括裝置硬件模塊、無人機(jī)目標(biāo)檢測(cè)模塊、無人機(jī)目標(biāo)跟蹤模塊、無人機(jī)軌跡預(yù)測(cè)模塊和云邊協(xié)同模塊；

3、所述裝置硬件模塊，用于采集目標(biāo)無人機(jī)的圖像并傳輸給無人機(jī)目標(biāo)檢測(cè)模塊；

4、所述無人機(jī)目標(biāo)檢測(cè)模塊，用于對(duì)目標(biāo)無人機(jī)的圖像進(jìn)行檢測(cè)，得到標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流并傳輸給無人機(jī)軌跡預(yù)測(cè)模塊；

5、所述無人機(jī)目標(biāo)跟蹤模塊，用于根據(jù)標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流基于輕量化的deepsort算法進(jìn)行目標(biāo)跟蹤，得到所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合并傳輸給無人機(jī)軌跡預(yù)測(cè)模塊；

6、所述無人機(jī)軌跡預(yù)測(cè)模塊，用于根據(jù)所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合通過生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)得到所有目標(biāo)無人機(jī)的最終運(yùn)動(dòng)預(yù)測(cè)軌跡集合并傳輸給云邊協(xié)同模塊；

7、所述云邊協(xié)同模塊，用于將所有目標(biāo)無人機(jī)的運(yùn)動(dòng)預(yù)測(cè)軌跡集合傳輸給云端。

8、進(jìn)一步地，所述裝置硬件模塊包括存儲(chǔ)設(shè)備、高性能嵌入式計(jì)算單元、圖像采集模塊和電源模塊；

9、所述存儲(chǔ)設(shè)備，用于提供大容量閃存或ssd；

10、所述高性能嵌入式計(jì)算單元，用于為無人機(jī)目標(biāo)檢測(cè)模塊、無人機(jī)目標(biāo)跟蹤模塊、無人機(jī)軌跡預(yù)測(cè)模塊和云邊協(xié)同模塊的運(yùn)行分別提供高算力芯片；

11、所述圖像采集模塊，用于通過高分辨率攝像頭對(duì)目標(biāo)無人機(jī)進(jìn)行圖像采集，采集得到目標(biāo)無人機(jī)的圖像并傳輸給無人機(jī)目標(biāo)檢測(cè)模塊；

12、所述電源模塊，用于提供電池和智能電量監(jiān)測(cè)。

13、進(jìn)一步地，所述云邊協(xié)同模塊包括通信模組和邊緣計(jì)算業(yè)務(wù)模塊；

14、所述通信模組，用于基于網(wǎng)絡(luò)套接字和消息隊(duì)列遙測(cè)傳輸實(shí)現(xiàn)云端和無人機(jī)的邊緣端的全雙工通信；

15、所述邊緣計(jì)算業(yè)務(wù)模塊，用于在邊緣端提供邊緣計(jì)算業(yè)務(wù)功能。

16、進(jìn)一步地，所述無人機(jī)目標(biāo)檢測(cè)模塊對(duì)目標(biāo)無人機(jī)的圖像進(jìn)行檢測(cè)，得到標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流并傳輸給無人機(jī)軌跡預(yù)測(cè)模塊，具體包括以下子步驟：

17、（a.1）首先對(duì)無人機(jī)目標(biāo)檢測(cè)模塊采集得到的目標(biāo)無人機(jī)的圖像進(jìn)行預(yù)處理，得到預(yù)處理后的圖像；所述預(yù)處理包括尺寸調(diào)整、歸一化及通道對(duì)齊；

18、（a.2）隨后將預(yù)處理后的圖像輸入至輕量化的mobilenetv3主干網(wǎng)絡(luò)進(jìn)行特征提取，得到特征圖；所述mobilenetv3主干網(wǎng)絡(luò)包含深度可分離卷積層、通道注意力模塊和hard-swish激活函數(shù)；

19、（a.3）根據(jù)coordinate?attention機(jī)制對(duì)特征圖進(jìn)行注意力增強(qiáng)，得到注意力增加后的特征圖；

20、（a.4）隨后將注意力增加后的特征圖輸入至解耦檢測(cè)頭，輸出標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流并輸出給無人機(jī)目標(biāo)跟蹤模塊。

21、進(jìn)一步地，所述無人機(jī)目標(biāo)跟蹤模塊根據(jù)標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流基于輕量化的deepsort算法進(jìn)行目標(biāo)跟蹤，得到所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合并傳輸給無人機(jī)軌跡預(yù)測(cè)模塊，具體包括以下子步驟：

22、（b.1）根據(jù)標(biāo)有目標(biāo)無人機(jī)的類別和邊界框坐標(biāo)的圖像流基于deepsort算法提取得到所有目標(biāo)無人機(jī)的邊界框中的表觀特征和運(yùn)動(dòng)特征；

23、（b.2）根據(jù)表觀特征和運(yùn)動(dòng)特征使用卡爾曼濾波器預(yù)測(cè)每個(gè)目標(biāo)無人機(jī)在下一幀中的位置，并使用匈牙利算法和級(jí)聯(lián)匹配算法計(jì)算得到前后兩幀所有兩兩目標(biāo)無人機(jī)之間的匹配程度，當(dāng)匹配程度大于匹配閾值則給相對(duì)應(yīng)的兩個(gè)目標(biāo)無人機(jī)分配相同id；

24、（b.3）最后將具有相同id的目標(biāo)無人機(jī)的位置依次連接起來，形成所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合并傳輸給無人機(jī)軌跡預(yù)測(cè)模塊。

25、進(jìn)一步地，所述無人機(jī)軌跡預(yù)測(cè)模塊根據(jù)所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合通過生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)得到所有目標(biāo)無人機(jī)的最終運(yùn)動(dòng)預(yù)測(cè)軌跡集合并傳輸給云邊協(xié)同模塊，具體包括以下子步驟：

26、（c.1）首先通過autoformer的編碼器-解碼器結(jié)構(gòu)對(duì)所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合進(jìn)行預(yù)測(cè)，得到初始運(yùn)動(dòng)預(yù)測(cè)軌跡集合；

27、（c.2）隨后根據(jù)初始運(yùn)動(dòng)預(yù)測(cè)軌跡集合通過生成對(duì)抗網(wǎng)絡(luò)，得到所有目標(biāo)無人機(jī)的最終運(yùn)動(dòng)預(yù)測(cè)軌跡集合并傳輸給云邊協(xié)同模塊。

28、進(jìn)一步地，所述子步驟（c.1）具體包括以下子步驟：

29、（c.1.1）所述所有目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡集合，其中，表示任意一個(gè)目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡，表示目標(biāo)無人機(jī)的數(shù)量，；

30、將每一個(gè)目標(biāo)無人機(jī)的運(yùn)動(dòng)軌跡輸入至autoformer的編碼器-解碼器結(jié)構(gòu)中，首先進(jìn)行編碼，設(shè)有個(gè)編碼器層，第層編碼器的整體方程為，其中，表示編碼器層；表示第層編碼器的輸出，表示第層編碼器的輸出，；

31、經(jīng)個(gè)編碼器層編碼后，得到最終編碼輸出；

32、（c.1.2）隨后分別對(duì)每一個(gè)最終編碼輸出進(jìn)行解碼，設(shè)有個(gè)解碼器層，第層解碼器的整體方程為，?其中，表示解碼器層，表示第層解碼器的輸出，表示第層解碼器的輸出，；

33、經(jīng)過個(gè)解碼器層解碼后，得到最終解碼輸出并作為對(duì)應(yīng)目標(biāo)無人機(jī)的初始運(yùn)動(dòng)預(yù)測(cè)軌跡，得到初始運(yùn)動(dòng)預(yù)測(cè)軌跡集合：。

34、進(jìn)一步地，所述第層解碼器的輸出的具體包括以下子步驟：

35、（d.1）首先對(duì)第層解碼器的輸出?應(yīng)用auto-correlation自動(dòng)相關(guān)機(jī)制，隨后將自動(dòng)相關(guān)結(jié)果并加上輸出進(jìn)行時(shí)間序列分解操作，分解為第一季節(jié)性部分結(jié)果和第一趨勢(shì)-周期性部分結(jié)果；

36、（d.2）隨后將第一季節(jié)性部分結(jié)果和最終編碼輸出應(yīng)用auto-correlation自動(dòng)相關(guān)機(jī)制，隨后將自動(dòng)相關(guān)結(jié)果并加上第一季節(jié)性部分結(jié)果進(jìn)行時(shí)間序列分解操作，分解為第二季節(jié)性部分結(jié)果和第二趨勢(shì)-周期性部分結(jié)果；

37、（d.3）然后將第二季節(jié)性部分結(jié)果應(yīng)用前饋網(wǎng)絡(luò)層，隨后將前饋網(wǎng)絡(luò)層的輸出并加上第二季節(jié)性部分結(jié)果進(jìn)行時(shí)間序列分解操作，分解為第三季節(jié)性部分結(jié)果和第三趨勢(shì)-周期性部分結(jié)果；最后將第三季節(jié)性部分結(jié)果作為第層解碼器的輸出。

38、進(jìn)一步地，所述子步驟（c.2）具體為：

39、將初始運(yùn)動(dòng)預(yù)測(cè)軌跡集合中每一個(gè)目標(biāo)無人機(jī)的初始運(yùn)動(dòng)預(yù)測(cè)軌跡輸入至生成對(duì)抗網(wǎng)絡(luò)中，所述生成對(duì)抗網(wǎng)絡(luò)包括生成器和判別器；并結(jié)合多樣性損失函數(shù)，對(duì)生成器和判別器交替優(yōu)化，直到生成對(duì)抗網(wǎng)絡(luò)收斂，固定網(wǎng)絡(luò)參數(shù)，得到優(yōu)化后的生成對(duì)抗網(wǎng)絡(luò)；

40、最后通過優(yōu)化后的生成對(duì)抗網(wǎng)絡(luò)對(duì)初始運(yùn)動(dòng)預(yù)測(cè)軌跡集合進(jìn)行軌跡預(yù)測(cè)，得到所有目標(biāo)無人機(jī)的最終運(yùn)動(dòng)預(yù)測(cè)軌跡集合并傳輸給云邊協(xié)同模塊。

41、本發(fā)明的有益效果是：

42、1）基于裝置硬件模塊和云邊協(xié)同模塊，支持實(shí)時(shí)數(shù)據(jù)處理和云邊通信，能夠適應(yīng)復(fù)雜網(wǎng)絡(luò)環(huán)境，確保數(shù)據(jù)安全性與系統(tǒng)可維護(hù)性；

43、2）基于無人機(jī)目標(biāo)檢測(cè)模塊和無人機(jī)目標(biāo)跟蹤模塊，實(shí)現(xiàn)對(duì)小目標(biāo)無人機(jī)的高精度檢測(cè)與實(shí)時(shí)穩(wěn)定跟蹤，有效應(yīng)對(duì)快速運(yùn)動(dòng)的目標(biāo)；

44、3）基于無人機(jī)軌跡預(yù)測(cè)模塊，采用autoformer模型捕捉長期飛行依賴，結(jié)合gan多樣性損失生成多模態(tài)軌跡，提升對(duì)復(fù)雜飛行行為的預(yù)測(cè)能力，增強(qiáng)反制效果。