更快、更智慧的成像為從 4D 建模到更高解析度和更少噪聲干擾的一切醫療影印成像應用打開了大門。

機器學習正在與醫學影象處理相結合，醫學影象處理是醫學診斷和手術最有用的技術之一，極大地擴充套件了可以從掃描或 MRI 中收集的有用資訊的數量。

在大多數情況下，ML 被用於增強當今醫務人員使用的手動流程的效果。雖然目標是使這些功能中的許多功能自動化，但尚不清楚臨床使用的速度有多快。自動化醫療診斷仍然是一個新領域，如今它掌握在初創公司和大學研究人員手中。儘管如此，它預計將快速增長。事實上，IDTechEx 預測，基於 AI 的基於影象的醫療診斷將成為一項大業務，到 2030 年將超過 30 億美元，它涉及五個領域——癌症、心血管、呼吸系統、視網膜和神經退行性疾病。

影象處理已在醫學領域部署了數十年，但可以從這些裝置獲得的資料型別僅限於對結果進行人工審查。 Flex Logix 營銷總監 Sam Fuller 說：“許多 DSP 和訊號處理技術在醫療領域都找到了很好的歸宿，但這些技術主要用於捕捉影象，並能夠以數字方式儲存它們。”

影象處理是對由陣列中不同強度的畫素組成的 2D、3D 甚至 4D 數字影象的攝取和分類。影象來自各種影象或醫學成像系統，例如 MRI、CT、微型 CT 或 FIB-SEM 掃描器。例如，可以增強影象並透過形態學和分割過程識別影象的各個部分並將其標記為身體部位。得到的資料和影象然後可以透過經過訓練的機器學習演算法以找到感興趣的區域。

訓練有素的放射科醫生閱讀這些影象——無論是否有影象處理系統的幫助，他們都會這樣做。增加了機器學習功能之後，他們可以更快地確定感興趣的區域，並關聯來自之前和未來影象的資料。而這一切只是開始。

用於醫療、手術導板的 3D 列印

例如，Simpleware（2016 年被 Synopsys 收購）開發的軟體和掃描 IP 正在臨床和教育環境中用於製作特定於個人的身體部位的 3D 列印模型。 “我們正在開發從影象到模型的工具軟體，”生物醫學工程師兼新思科技 Simpleware 業務開發經理 Kerim Genc 說。

該軟體從 MRI、CT、顯微 CT、FIB-SEM 掃描器中獲取 3D 和 4D 醫學影象資料 (DICOM)，並清理影象資料。然後它對特定解剖結構的影象進行分割。

“我們進行了培訓，它非常輕巧，”Genc 說。 “它可以在本地的任何膝上型電腦或 PC 上完成。我們進行所有培訓，我們為此進行所有推理，並且可以將其部署到客戶身上。 3D 是您通常得到的圖片資訊。例如，4D 是您可以掃描心臟跳動的時候。所以它不僅在空間的三個維度上，而且增加了在時間上的維度。”

這些影象來自臨床掃描的堆疊。分割是獲取掃描堆疊並將它們放在 3D 數字模型中的過程。 Simpleware 在沒有重型 AI 加速器的情況下，比人類技術人員更快地進行這種分割。它的軟體在臺式計算機 GPU 上執行。該過程生成可用於 3D 列印或匯入 CAD 和 CAE 程式的檔案。

“你可以做一些事情，比如進行術前虛擬測量，執行某種虛擬手術計劃，”Genc 說。 “你可以在外科醫生真正去看病人之前為他們制定計劃。” 3D 模型進行即時 (POC) 3D 列印——在醫院或診所列印 3D 模型以獲得患者解剖結構的物理模型，用於術前規劃、培訓和教育。 “例如，如果你需要在病人的骨頭上安裝一塊鋼板，通常外科醫生會做的是進去，開啟一個病人的相應部位，然後把它放在那個病人身上。有了 3D 列印，你們都可以提前做到這一點。”

瞭解何時獲得監管機構的批准可能會變得複雜。當臨床醫生依靠模型的準確性來做出臨床決策時，該軟體需要在美國獲得 FDA (501)K 批准才能用於特定用途。 Simpleware 的旗艦臨床掃描 IP 已獲得 FDA 和 CE（歐洲）批准，但它還提供非 FDA 批准的版本，可用於研究、教育和零件設計。

“人工智慧工具不是 FDA 明確的，”他指出。 “那是一個不同的過程。”

診斷中的影象處理

使用 AI 影象處理進行診斷是下一個重要步驟，它有望加快疾病診斷。但對於基於人工智慧的診斷系統來說，這仍處於早期階段。 “現在人工智慧的出現允許理解影象，或者能夠開始減輕醫務人員的負擔“，Flex Logix 的 Fuller 說。

使用人工智慧演算法進行影象處理，可以解釋影象並給出診斷建議——或者至少給出一個暗示——已經引起了很多興趣。醫療客戶正在尋找人工智慧訓練加速器。 “醫療保健/醫療領域的人工智慧是發展中最強大的人工智慧領域之一，每個人都在跳上這趟火車，”賽靈思醫療保健與科學部門負責人 Subh Bhattacharya 說。

影像處理是醫學診斷的重要工具。 “這是我們的利基市場，”Flex Logix 銷售和營銷副總裁 Dana McCarty 說，該公司正在開發邊緣 AI 推理加速器 InferX X1，以及編譯器和其他支援選項。 “我們非常專注於高畫質實時影象處理。我們開發了針對該領域進行最佳化的晶片——機器視覺、計算機視覺型別的東西。”

正在進行大量工作來訓練和改進這些應用程式中使用的演算法。 “將其轉化為產品，這就是我們可以帶來很多幫助的地方，”Flex Logix 的 Fuller 說。 “如果演算法存在，那麼訓練已經發生，但你希望將其構建為穩健且具有成本效益的東西。這就是整個服務很有意義的地方，因為將科學開發轉化為工程產品是一個仍然需要完成的過程。”

圖1

圖 1：AI 影象處理推理晶片 InferX X1，使用動態 TPU 陣列。資料來源：Flex Logix

許多晶片製造商認為這是一個巨大的市場機會。 Xilinx 的 Bhattacharya 說：“我們的產品非常好，在實現 AI 演算法以進行推理方面非常有用。” “簡而言之，原因在於專用 AI 處理器塊、軟體堆疊的可用性以及對流行網路和模型的支援。我們還有開源參考設計。從解剖幾何測量到癌症檢測，再到放射學、外科手術、藥物發現和基因組學，當今醫療保健行業面臨著非常艱鉅的任務。今天的大多數用途都集中在醫學成像的某種診斷幫助上，而不是實際的診斷或程式。它旨在加快瑣碎的任務並提高準確性和效率。”

Xilinx 建立了一個 X 射線分類推理引擎，該引擎使用其基於 Zynq UltraScale+ MPSoC 的 SOM 平臺來檢測和分類正常、肺炎和 Covid19。該引擎可以部署為邊緣裝置醫療裝置，並可以獨立執行推理。

對推理的興趣

許多客戶要求執行類似的推理任務。 Flex Logix 的 McCarty 經常看到三個不同的部分。他們之中：

影象去噪。清理初始影象。 3D 影象處理使用影象過濾來去除或減少影象中不需要的噪聲或偽影。麥卡蒂說：“這是一個將模擬影象轉換為數字的，所以你要清理它。” “我們的客戶說，它使使用者更容易看到影象。一旦影象被清理乾淨，放射科醫生就能將其識別速度提高五倍。”噪聲會使數字影象非常難以閱讀。 “如果有人植入了髖關節並進行了 CT 掃描，影象資料中就會出現各種噪聲。它看起來像一顆明亮的白色星星，發出類似的光芒。”

物件檢測。突出顯示影象中的不同之處，機器學習推理可以提供檢視位置的提示。 “在清理影象後，他們會對影象進行物件檢測，”麥卡蒂說。 “當他們突出顯示讓某人能夠看到並說‘去看看這個區域’或‘是的，這是一個問題’時，速度可以提高三倍。”

姿勢估計。 “這個我們才剛剛開始。步態的變化可能會發生改變，從而可以向潛在使用者提供醫療資料，”麥卡蒂說。 “在體育方面——這只是非常初步的——我們正在與一家醫療機構討論你的步態變化以及這對運動員意味著什麼。”

醫學影象中人工智慧的另一個目標是器官分割。很難對心臟進行分割。 Synopsys 的 Genc 說：“這是一個移動的器官，它基於在內部進行相關工作的客戶。” “我們說，‘好吧，這將是一個很好的產品來自動化這個過程，因為它非常困難和耗時。對於新手使用者，可能需要幾天的時間來分割一個心臟。即使對於專家來說，分割心臟也需要半天到一整天的過程。所以自動化非常重要。我們已經完成了 40 多個自動化。你可以看到心臟在跳動，這真的很酷。”

走出舒適區

但是影象處理中的機器學習並不總是一成不變的。即使訓練資料集非常好，它也容易出錯。人類會犯錯，但當機器犯錯時，這是一個更令人擔憂的主題。 “我們的期望是不同的，”富勒說。

因此，雖然能力有所提高，但在醫療領域，它們通常會格外小心。 “我們一直迴避的一件事是任何診斷人工智慧，”Genc 說，他特別指的是 Synopsys 的 Simpleware 產品，該產品為醫生執行某些程式提供指南。 “我們只是遠離診斷人工智慧——那真的是狂野的西部。這就是你看到很多演算法出現的地方。谷歌準備好了。這些公司獲得了資料集。但是，您如何驗證它們？你如何構建它們？它看起來仍然相當分散，還有很多問題，例如，“這真的有用嗎？我們如何糾正它？”你會看到很多這樣的文章出來，所以我們只是遠離那個空間，因為它非常，“這個人是否患有癌症，是或否？”它是部署人工智慧工具是一項重大責任。”

圖2

圖 2：從影象建立模型。資料來源：新思科技

結論

即使使用影象處理進行自動診斷還有很長的路要走，但仍在為其他醫療保健領域設計機器學習和人工智慧系統，例如電子健康記錄 (EHR)。在一些研究中，EHR 正在以有限的方式被挖掘以尋找可能導致更好地檢測和治療癌症的線索，特別是如果 DNA 資訊是記錄的一部分。

Arm 醫療保健技術總監彼得·弗格森 (Peter Ferguson) 表示：“醫療保健行業正在迅速發展，變得更加數字化，尤其是在 COVID-19 大流行期間，遠端諮詢變得更加普遍。” “作為這種演變的一部分，許多國家已經採用了患者記錄的電子儲存，並能夠使用該資訊來幫助更快、更有效地治療患者——例如，使用人工智慧來幫助分類醫療記錄中的資訊，例如 X 射線影象, 或 CT 掃描。這正在生成大量資料。據估計，一名患者每年在影像和電子病歷中產生近 80 兆位元組的資料。”

現在，問題是這些資料還能做什麼，以及哪些公司願意嘗試。