MIT最新的項目“RF-Pose”使用了人工智能技術(shù)來教無線設備感知人們的姿態(tài)和移動，甚至隔了一堵墻也能做到。

X射線視覺長期以來一直被當作難以置信的科學幻想，但在最近十年來MIT的計算機科學與人工智能實驗室(CSAIL)教授Dina Katabi帶領的團隊一直在試圖讓我們能實現(xiàn)穿墻透視。

他們最新的項目“RF-Pose”使用了人工智能技術(shù)來教無線設備感知人們的姿態(tài)和移動，甚至隔了一堵墻也能做到。

研究者使用了一個神經(jīng)網(wǎng)絡來分析人們的身體反射的無線電信號，然后可以創(chuàng)建一個隨人類動作而同步的動態(tài)火柴人行走、停下、坐下和移動肢體的圖像。

 

 

該團隊稱RF-Pose可以用于監(jiān)控疾病，例如帕金森氏癥、多發(fā)性硬化癥和肌肉萎縮癥等，從而提供對病情發(fā)展的更好理解，讓醫(yī)生能根據(jù)情況調(diào)整用藥。它還可以幫助老年人更加獨立地生活，同時提供對摔倒、受傷和活動模式變化等狀況的監(jiān)控。該團隊目前正與醫(yī)生合作探索RF-Pose在醫(yī)療中的應用。

該團隊收集的所有數(shù)據(jù)都經(jīng)過了實驗對象的同意，并經(jīng)過匿名化和加密以保護用戶隱私。對于未來的現(xiàn)實應用，他們計劃實現(xiàn)一種“同意機制”，其中安裝了設備的人們可以通過做出一系列的動作以提示設備開始監(jiān)控環(huán)境。

“我們發(fā)現(xiàn)監(jiān)測病人步行速度和基本活動的能力為醫(yī)療服務提供了一個全新窗口，這對于所有疾病的治療都非常有意義，”Katabi表示，他是有關(guān)本研究的論文《Through-Wall Human Pose Estimation Using Radio Signals》的作者之一。“我們提出的方法具有一個重大優(yōu)勢：它不需要病人佩戴傳感器，并時刻保持它們充電。”

除了醫(yī)療外，該團隊還表示RF-Pose可用于新型視頻游戲，其中玩家可在房間周圍移動。當然也可以用于搜救任務，以幫助搜救人員快速找到幸存者。

這項研究作者是Dina Katabi教授和她的博士生趙明民(第一作者)、MIT教授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鴻、田永龍和趙行。相關(guān)的研究論文已經(jīng)被CVPR 2018接收，他們將CVPR 2018上展示這項工作。

研究人員需要解決的一個問題即訓練數(shù)據(jù)，因為大多數(shù)神經(jīng)網(wǎng)絡都是使用手工標注數(shù)據(jù)進行訓練，而這項研究者工作的數(shù)據(jù)是沒有現(xiàn)成的。例如在一般的圖像分類中，我們可以輕松獲得大型標注數(shù)據(jù)集，它可能標注每張圖片到底包含還是不包含“貓”。而這一項研究中的無線電信號很難手工標注，這也就造成了數(shù)據(jù)問題。

為了解決這個問題，研究員使用無線設備和相機收集了大量的樣本。他們收集了成千上萬張人類活動的圖片，如走路、交談、開門和等電梯等。然后他們從這些圖片中抽取出棒狀的人體圖以及相應的無線電信號。這些組合樣本使得系統(tǒng)能學習無線電信號與棒狀人物圖之間的關(guān)系。

在訓練結(jié)束后，RF-Pose能在沒有相機輸入圖像的情況下抽取棒狀特征，并只使用無線反射信號評估人體的姿勢與行動等。

因為相機不能透視墻體，神經(jīng)網(wǎng)絡就無法明確的從來自墻另一邊的數(shù)據(jù)訓練。這也是讓MIT的研究人員驚訝的地方：神經(jīng)網(wǎng)絡能夠歸納自己的知識，從而掌握墻后的動作。

Torralba說，「如果你把計算機視覺系統(tǒng)當作老師，這就是學生超越老師的完美示例�！�

 

 

上圖是一個單人識別的例子，展示了MIT提出的系統(tǒng)在人走到墻后，甚至完全被墻遮擋后的識別結(jié)果。最上面一行：與無線電傳感器配套的攝像頭拍攝的圖像;中間一行：僅從RF信號提取的關(guān)鍵點置信圖，沒有任何視覺輸入;下面一行：從關(guān)鍵點置信圖分析的骨架示意，即使完全被遮擋，我們也可以使用RF信號來估測人在其后的姿勢。

除了感知運動，作者也表示從一隊100人的人群中，使用無線信號大概在83%的時候都能準確的識別出某個人。在知道某個特定人的身份時，這一能力應用到搜救非常有幫助。

在這篇論文中，模型輸出一個2D線條人物，但研究團隊也在創(chuàng)造3D表征，從而可以表示更細微的動作。例如，能夠查看老人的手是否有規(guī)律性的晃動。趙說，「通過使用視覺數(shù)據(jù)與AI的結(jié)合來透視墻內(nèi)，我們能夠?qū)崿F(xiàn)更好的場景理解與更智能的環(huán)境，從而讓生活更安全、更豐富�！�

論文：Through-Wall Human Pose Estimation Using Radio Signals

 

 

論文鏈接：http://openaccess.thecvf.com/contentcvpr2018/CameraReady/2406.pdf

本文展示了隔著墻和遮擋物也能實現(xiàn)準確的人類姿態(tài)估計的研究。我們利用了WiFi頻率的無線信號可以穿墻并從人體反射的事實。我們引入了一種神經(jīng)網(wǎng)絡方法來解析這種無線電信號，以估計2D的姿態(tài)。由于人類不能標注無線電信號，我們使用了當前最佳的視覺模型來提供跨模態(tài)監(jiān)督。具體來說，在訓練期間，系統(tǒng)使用同步的無線信號和視覺輸入，從視覺流中提取姿態(tài)信息，然后將其用于指導訓練過程。一旦訓練完成，網(wǎng)絡僅使用無線信號就可以進行姿態(tài)估計。我們的實驗表明當在可見場景中進行測試時，基于無線電的系統(tǒng)幾乎和用于訓練的基于視覺的系統(tǒng)一樣準確。然而，和基于視覺的姿態(tài)估計不同，基于無線電的系統(tǒng)可以穿墻估計2D姿態(tài)，即使從未在這種場景中訓練過。

原文地址：http://news.mit.edu/2018/artificial-intelligence-senses-people-through-walls-0612

標簽： 安全 網(wǎng)絡

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。