當(dāng)嵌入式遇上人工智能，用OK3399-C來做個(gè)AI“云監(jiān)工”！
人工智能 (AI) 可以從實(shí)時(shí)視頻流中檢測(cè)出重要信息，從街道上收集可靠的實(shí)時(shí)數(shù)據(jù)并通過 AI 推理對(duì)其進(jìn)行壓縮，幫助智慧城市更輕松地管理資源，并改善生活質(zhì)量、生產(chǎn)力和緊急響應(yīng)速度。為實(shí)現(xiàn)出色的效率，視覺應(yīng)用必須實(shí)時(shí)處理海量數(shù)據(jù)。
OK3399-C開發(fā)板是飛凌2020年推出的首款人工智能系列產(chǎn)品。該平臺(tái)基于瑞芯微RK3399設(shè)計(jì)，CPU內(nèi)置Mali-T864GPU，使用大小核的CPU結(jié)構(gòu)，由兩個(gè)Cortex-A72+四個(gè)Cortex-A53組成，在滿足用戶處理器性能要求的同時(shí)，也提供了更加強(qiáng)勁的圖形處理性能。
無論是在工業(yè)自動(dòng)化領(lǐng)域，還是前沿的人工智能、邊緣計(jì)算領(lǐng)域，OK3399-C都能承擔(dān)極大的工作量。
經(jīng)CoreMark跑分
單A72核：
Coremark:11396
Coremark/MHz=11396/1800=6.33
雙A72核：
Coremark:22610
Coremark/MHz=22610/3600=6.28
6核：
Coremark:39099
Coremark/MHz=39099/9200=4.25
......
通過以上數(shù)據(jù)可以看到，OK3399-C搭載的CPU RK3399單核性能達(dá)到6.33，多核性能也是能達(dá)到4.25。
那么這樣一個(gè)“大心臟”當(dāng)然還需要其他器官也要強(qiáng)勁，下面來一一介紹。
RK3399搭載Mali-T860GPU，支持OpenGLES1.1/2.0/3.0/3.1,OpenCL。支持AFBC（幀緩沖壓縮），節(jié)省GPU的帶寬，提升性能的同時(shí)降低功耗，更是為強(qiáng)大的GPU狠狠的助了一把力。視頻顯示部分支持4KV P9 and 4K 10bits H.265/H.264 視頻解碼，高達(dá)60fps。支持雙VOP顯示：分辨率分別支持4096x2160及2560x1600，顯示支持雙通道MIPI-DSI、eDP1.3、HDMI2.0支持4K60Hz、以及DP1.2多種接口。支持雙路攝像頭數(shù)據(jù)同時(shí)輸入，雙ISP像素處理能力高達(dá)13MPix/s。
枯燥的東西介紹了很多，那么這么強(qiáng)勁的CPU性能，如此高的運(yùn)算速度，豐富的接口，以及1300萬像素輸入、4K視頻輸出，哪里才是它的用武之地呢？
必然是一個(gè)需要計(jì)算量大，實(shí)時(shí)性強(qiáng)的應(yīng)用場景，最典型的就是目前最火熱的AI人工智能了。
------
飛凌對(duì)于OK3399-C在AI領(lǐng)域的應(yīng)用也是下了很深的功夫，系統(tǒng)集成了TensorFlow AI框架，支持ArmNN加速，并提供測(cè)試demo和方法。另外還有OpenCV、OpenCL、OpenGL的測(cè)試?yán)獭?/span>
下面進(jìn)入本文的重點(diǎn)：OK3399-C+RK1808計(jì)算棒運(yùn)行智能識(shí)別程序。
流程大體如下，在OK3399-C平臺(tái)上開發(fā)好的模型固化到計(jì)算棒上，然后部署到設(shè)備中，實(shí)現(xiàn)設(shè)備的人工智能計(jì)算。
按照OK3399-C平臺(tái)Desktop系統(tǒng)+RK1808計(jì)算棒應(yīng)用手冊(cè)，對(duì)RK1808計(jì)算棒的網(wǎng)絡(luò)進(jìn)行配置之后，可以按照對(duì)應(yīng)IP登錄到計(jì)算棒上，設(shè)置其主動(dòng)模式和被動(dòng)模式。
主動(dòng)模式Mobilenet-ssd 測(cè)試
按照手冊(cè)中的內(nèi)容配置好環(huán)境之后，運(yùn)行編譯好的上位機(jī)程序：./ssd_demo
效果如下：
可以看到能進(jìn)行物體的識(shí)別和種類的計(jì)算。
主動(dòng)模式y(tǒng)olov3測(cè)試
運(yùn)行應(yīng)用后的效果▼
能識(shí)別鼠標(biāo)、鍵盤、顯示器、人等物體，并且識(shí)別速度很快。
另外，OK3399-C也能搭配1808的被動(dòng)模式，其被動(dòng)模式整體數(shù)據(jù)流圖如下：
先是由攝像頭采集到數(shù)據(jù)流，后經(jīng)OK3399-C處理傳輸給RK1808計(jì)算棒，計(jì)算棒處理后的結(jié)果推回給OK3399-C，再經(jīng)顯示器顯示。
下面是RK1808被動(dòng)模式的測(cè)試結(jié)果：
被動(dòng)模式Mobilenet-ssd 測(cè)試
可以正確識(shí)別顯示器、水杯、鍵盤等物體，可以發(fā)現(xiàn)FPS要比被動(dòng)模式高，說明此種模式運(yùn)行更快。
被動(dòng)模式Rock-X 測(cè)試
提供了多個(gè)Rock-X測(cè)試?yán)蹋?/span>
Rock-Xcommand_line_demo 提供的例程
rockx_carplate_demo車牌識(shí)別
rockx_face_attribute_demo人臉屬性識(shí)別（性別、年齡）
rockx_face_detection_demo人臉檢測(cè)
rockx_face_landmark_demo人臉特征點(diǎn)定位
rockx_head_detection_demo人頭檢測(cè)
rockx_object_detection_demo物體檢測(cè)
rockx_object_track_demo物體運(yùn)動(dòng)檢測(cè)
rockx_pose_body_demo人體姿態(tài)檢測(cè)
rockx_pose_finger_demo手掌節(jié)點(diǎn)姿態(tài)檢測(cè)
rockx_face_liveness_demo活體檢測(cè)rockx_face_recognition_demo人臉識(shí)別對(duì)比
上圖使用了rockx_face_landmark_demo，抓取了人臉特征的68個(gè)點(diǎn)。還有很多其他的測(cè)試應(yīng)用，沒有一一測(cè)試。
被動(dòng)模式y(tǒng)olov3測(cè)試
安裝python、TensorFlow和RKNN-Toolkit 插件后運(yùn)行yolov3測(cè)試demo：
在能準(zhǔn)確分辨物體的前提下其FPS能達(dá)到30。
經(jīng)過以上測(cè)試，OK3399-C的計(jì)算能力，尤其搭載RK1808計(jì)算棒之后的運(yùn)算能力可見一斑。實(shí)際上，這個(gè)平臺(tái)還有很深的潛力可挖掘，就要靠以后研發(fā)和使用的工程師們共同努力了。
以上就是小編給大家分享的內(nèi)容，希望能夠幫到您。
進(jìn)入飛凌嵌入式官網(wǎng)，了解關(guān)于OK3399-C開發(fā)板的更多信息。
相關(guān)產(chǎn)品 >
-
FET3399-C核心板
飛凌RK3399安卓高性能核心板采用 采用六核Rockchip RK3399芯片，雙Cortex-A72大核+四Cortex-A53小核結(jié)構(gòu)，對(duì)整數(shù)、浮點(diǎn)、內(nèi)存等作了大幅優(yōu)化，在整體性能、功耗及核心面積三個(gè)方面提升。以下將對(duì)瑞芯微芯片RK3399參數(shù),RK3399核心板方案及其性能做具體介紹。如您對(duì)飛凌RK3399系列核心板有興趣，歡迎咨詢了解。
了解詳情
-
OK3399-C開發(fā)板
飛凌嵌入式RK3399安卓開發(fā)板主芯片采用高性能六核CPU Rockchip RK3399,GPU采用Mail-T860四核 GPU，RK3399作為目RK產(chǎn)品線中低功耗、高性能的代表，可滿足人臉識(shí)別設(shè)備、機(jī)器人、無人機(jī)、IoT物聯(lián)網(wǎng)領(lǐng)域應(yīng)用。飛凌RK3399開發(fā)板在整體性能、功耗及核心面積做了大幅度優(yōu)化，更加滿足工業(yè)設(shè)計(jì)需求。飛凌RK3399開發(fā)板為進(jìn)一步減少用戶二次開發(fā)難度，開放了底板原理圖，并提供了RK3399用戶手冊(cè)、芯片手冊(cè)，加上優(yōu)質(zhì)的技術(shù)服務(wù)，讓您的方案從構(gòu)思到上市時(shí)間縮短。
了解詳情
換一批
