技術介紹

本團隊具高度醫療專業與技術專業，在一般牙科、膺復牙科、牙周病科、牙髓病科及口腔顎面外科有高度知名度及累積大量診斷資料，具有Cone Beam CT與口內掃描影像，更和醫學影像辨識團隊合作是其他競爭者之進入障礙。另外結合本團隊技術顧問指導台北科技大學電機系主任張陽郎教授團隊與台北科技大學資訊工程系謝東儒教授，應用範圍除了醫療專業人員、醫療機構、與醫學院/校教育或學習之用外。中長程更計畫與其它單位合作，累積更多個案資料，建立資料庫，發展醫療輔助決策系統及3D牙科模擬系統，後續衍伸商機可期。

AI智慧辨識器官資訊系統

傳承最重要就是將資深醫師的經驗量化與特徵化，為了加速學習，將重要齒科影像資料與疾病辨別利用演算法程式轉化為資訊系統，透過AI深度學習，將齒科模型與疾病判別等影像進行辨識模型訓練，發展組織自動辨識之技術。

單張口腔牙齒影像識別

口腔疾病影像辨識

醫師對牙齒與口腔疾病的熟悉度，需仰賴長年且大量臨床診療經驗之累積，因此將牙齒與口腔疾病加以文字化，拆解牙科診療醫師的經驗，利用step by step解說，讓學習者能照著步驟執行，甚至給予圖像加以解釋狀況與可能合併問題,及如何解決處理之應對方式，透過練習使技術更加純熟，讓想學習的醫師不受時間與空間的限制，能隨時翻找需要的案例及比較模擬，使做齒科治療能夠更快速且更精準。

VR口腔治療模擬模型

隨著科技進步，應用在牙科臨床的治療已走向數位化，利用3D影像以及自動化設備來輔助牙科臨床治療，更能從流程上轉變為提升患者的就醫經驗與醫病溝通。傳統牙醫學的教育可以分成兩大類，理論知識的教授以及透過實驗室內的模型操作練習。這種教育方法需要消耗掉非常大量的材料、時間，而且模型操作練習很難完美的跟實際生活中的病人間做適當的連結。數位牙醫學近幾年發展快速，並趨向成熟，傳統牙醫診療可以應用數位化方案，達到快捷、美觀、精密的要求，進而提升醫療品質。牙醫養成教育勢必同步進展到數位方式的學習，學生在校的學習課程須無縫銜接日後牙醫師於臨床應用的需求。

目前正積極提升技術面，期望能讓使用者融入與虛擬情境，並設計互動性教材，以問題導策略讓使用者進行直接互動操作，培育學習者透過系統性模擬教育系統嘗試錯誤，以獲得獨立學習及判斷思考的能力，透過直接體驗及反覆練習，培養學習者臨床上問題解決之反應力，精熟口腔診療技術。

3D CT重建技術

隨著X光、CT、MRI、PET 等現代醫學影像設備的先後出現，醫生能夠利用無創傷手段，從一系列斷層圖像以多視角、多方位的三維模式觀察和診斷患者的病變區域，這使得傳統的醫學診斷方式發生了巨大的變化。醫學影像及其三維重建的模型作為臨床醫生診病治病的輔助工具，發揮著越來越重要的作用。雖然醫生可以通過觀察醫學影像來發現並診斷病情，但這種診斷方式有可能由於圖像本身的對比度、解析度等原因引起醫生的誤判、誤診，並且從一組二維圖像構想出人體器官的三維結構有相當大的難度，在某些情況下甚至可能會引起誤診從而影響醫療進程。為提高醫療診斷和治療規劃的科學性及準確性，需將二維斷層圖像進行處理，將重要的部位突出顯示，而將不需要的部位屏蔽或刪除，以便於觀察。必要時將系列二維圖像轉變成為具有直觀立體效果的三維模型，展現人體器官的三維結構與形態，從而提供用傳統手段無法獲得的解剖結構信息，為進一步模擬操作提供視覺交互手段。當然，牙科也不例外，從直覺觀察到X光到cone bean CT最重要的就是要無遺漏的觀察到病患的問題。我們與臺北科技大學謝東儒教授一起合作，將cone bean CT重組再搭配口腔3D影像，希望能把影像實現，這可以幫助牙醫師觀察牙齒在各個角度的解剖構造。

口腔3D建模

肝臟3D建模

全口掃描AI輔助影像辨識系統開發

以往CBCT與全口掃描雖然可以自己建構3D模型，但是臨床醫師表示若遇到有戴牙套或是無牙齒時會位移對不準，這個非常考驗臨床醫師的經驗與技術，因此我們希望結合人工智慧的技術，來幫助牙醫師診療病患，也希望病患免受“口腔之災”以及降低經濟負擔，我們發現過去對於AI應用於口腔科學的論文並不多，但卻在2019年明顯成長，這代表口腔科學開始備受重視，我們由此切入正好是熱點，我們發現2019與2020個有一篇相當經典再討論牙齒影像辨識的論文，從錐形束 CT 圖像自動分割和識別牙齒實例，這篇再說明核心是一個兩階段的深度神經網路。在第一階段，透過監督式學習網路從 CBCT 圖像中提取邊緣圖。在第二階段，將邊緣圖特徵與原始圖像特徵連接並發送到 3D RPN。接著使用相似矩陣過濾 3D RPN 內部多餘的候選框，並使用空間關係模型來進一步解決模糊區域。相似矩陣是為了去除重複的候選框。採用3D Mask R-CNN 作為基礎網絡[1]。

用於從 CBCT 圖像進行牙齒 3D 分割的兩階段網絡架構

Ref [1]: Cui, Zhiming, Changjian Li, and Wenping Wang. “ToothNet: Automatic tooth instance segmentation and identification from cone beam CT images." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6368-6377. 2019.

另一篇，2020的論文，則在探討3D牙科模型的自動牙齒分割和密集對應，首先提取牙齒模型的特徵區域F0。將特徵區域傳送至FeaStNet 以更新卷積濾波器權重與patch之間的關係。

  • 網路分為三個通道:
    • 測地線圖(geodesic map)的解碼器將特徵區域作為輸入,並將instance-aware geodesic maps作為輸出
    • 對於多標籤分類器，測地線圖與特徵區域Fg 連接在一起
    • 密集位移場的解碼器產生密集對應，實現屬性轉移和座標定位最後使用標記概率矩陣作為進階分類特徵來推斷點到點的映射。

用於從 3D 牙齒圖像進行 3D 牙齒分割的端到端圖卷積網絡 (GCN)

Ref [2]: Sun, Diya, Yuru Pei, Peixin Li, Guangying Song, Yuke Guo, Hongbin Zha, and Tianmin Xu. “Automatic Tooth Segmentation and

Dense Correspondence of 3D Dental Model." In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 703-712. Springer, Cham, 2020.