為進一步規范人工智能醫療器械生存周期過程質控要求和注冊申報資料要求，并統一審評要求，藥監總局基于《深度學習輔助決策醫療器械軟件審評要點》，結合產品審評經驗積累和監管科學研究成果，編寫了《人工智能醫療器械注冊審查指導原則?（征求意見稿）》，即日起公開征求意見。
引言：為進一步規范人工智能醫療器械生存周期過程質控要求和注冊申報資料要求，并統一審評要求，藥監總局基于《深度學習輔助決策醫療器械軟件審評要點》，結合產品審評經驗積累和監管科學研究成果，編寫了《人工智能醫療器械注冊審查指導原則（征求意見稿）》，即日起公開征求意見。
人工智能醫療器械注冊審查指導原則
（征求意見稿）
本指導原則旨在指導注冊人建立人工智能醫療器械生存周期過程和準備人工智能醫療器械注冊申報資料，同時規范人工智能醫療器械技術審評要求。
本指導原則是對人工智能醫療器械的一般要求。注冊人應依據產品具體特性和風險程度確定本指導原則具體內容的適用性，若不適用應詳述理由。注冊人也可采用其他滿足法規要求的替代方法，但應提供詳盡的支持資料。
本指導原則是在現行法規、強制性標準體系以及當前科技能力、認知水平下制定的，隨著法規、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發展，本指導原則相關內容也將適時調整。
本指導原則是供注冊人、審評人員和檢查人員使用的指導文件，不涉及行政審批事項，亦不作為法規強制執行，應在遵循相關法規的前提下使用本指導原則。
本指導原則作為數字醫療指導原則體系的重要組成部分，遵循醫療器械軟件、醫療器械網絡安全、移動醫療器械、醫療器械人因設計、醫療器械獨立軟件生產質量現場檢查等數字醫療相關指導原則要求。
本指導原則是人工智能醫療器械的通用指導原則，其他含有人工智能技術的醫療器械指導原則可在本指導原則基礎上結合具體情況進行有針對性的調整、修改和完善。采用人工智能技術進行醫療器械的設計、生產，亦可參考本指導原則適用要求。
一、適用范圍
本指導原則適用于人工智能醫療器械（含體外診斷醫療器械）的注冊申報，包括第二類、第三類人工智能獨立軟件和含有人工智能軟件組件的醫療器械。
本指導原則也可用作人工智能醫療器械體系核查的參考。
二、主要概念
（一）人工智能醫療器械
本指導原則所述人工智能醫療器械是指基于“醫療器械數據”，采用人工智能技術實現其預期用途的醫療器械。
醫療器械數據是指醫療器械產生的客觀醫療數據，如醫學影像設備產生的醫學圖像數據（如X射線、CT、MRI、超聲等圖像）、醫用電子設備產生的生理參數數據（如心電、腦電、血壓、無創血糖等波形數據）、體外診斷設備產生的體外診斷數據（如病理圖像、顯微圖像、有創血糖波形數據等）；通用設備產生的用于醫療用途的客觀數據亦屬于醫療器械數據，如數碼相機拍攝的用于皮膚疾病診斷的皮膚照片、健康電子產品采集的用于心臟疾病預警的心電數據等。基于醫療器械數據包括單獨使用醫療器械數據，或者以醫療器械數據為主聯合使用非醫療器械數據（如電子病歷、醫學檢查報告的結果文本等）。
人工智能是指機器表現出與人類智能相關行為的能力，通常是指通過感知周圍環境做出合理行動以達到預期目標的計算機軟件或系統。機器學習是指與人類學習行為相關的人工智能，通常是指通過整理現有數據和/或獲取新數據以提升性能的計算機軟件或系統。機器學習雖是人工智能的子集，但卻為人工智能的核心領域，二者當前對于醫療器械而言含義基本相同，故本指導原則對二者不做嚴格區分，統一采用人工智能進行表述。
基于非醫療器械數據的醫學人工智能產品，或者采用人工智能技術實現非醫療用途的醫療器械均非人工智能醫療器械。醫學人工智能產品是否屬于人工智能醫療器械，必要時可申請醫療器械分類界定。
（二）人工智能醫療器械類型
從醫療器械軟件角度，人工智能醫療器械可分為人工智能獨立軟件和人工智能軟件組件，故其類型劃分可參考醫療器械軟件指導原則相關維度。
人工智能醫療器械從用途角度可分為輔助決策類和非輔助決策類。其中，輔助決策是指通過提供診療活動建議輔助醫務人員進行臨床決策，如通過異常識別、病灶性質判定、自動制定手術計劃進行輔助分診、輔助檢測、輔助診斷、輔助治療等，相當于醫務人員的“助手”。反之即為非輔助決策，包括流程優化、診療驅動，如診療流程簡化、自動測量、三維重建等，相當于醫務人員的“工具”。
人工智能醫療器械從功能角度大體上可分為控制功能、處理功能，處理功能又可分為前處理功能和后處理功能。其中，控制功能是指控制/驅動醫療器械硬件運行的功能，如控制機械臂運動等。前處理功能是指采集人體解剖、生理信息生成醫療器械數據過程的處理功能，如成像質量改善、成像流程簡化等。后處理功能是指利用醫療器械數據生成診療信息過程的處理功能，如診療流程簡化、自動測量、三維重建、異常識別、病灶性質判定、自動制定手術計劃等。
人工智能醫療器械從算法角度具有多種類型劃分維度。從學習策略角度可分為有監督學習和無監督學習，前者需要對訓練數據進行標注，如回歸、分類等典型算法，后者無需對訓練數據進行標注，如聚類、降維等典型算法，前者對于數據標注的要求高于后者。從學習方法角度可分為基于模型的算法和基于數據的算法，前者采用統計模型、規則推理等方法，后者主要基于大數據方法，前者對于訓練數據量的要求低于后者。從可解釋性角度可分為白盒算法和黑盒算法，前者特征提取需要人為干預，可與現有醫學知識建立關聯，后者自動完成特征提取，難與現有醫學知識建立關聯，前者可解釋性優于后者。
上述類型劃分維度相互交叉，例如：前處理和后處理均可采用不同類型的人工智能算法實現輔助決策、非輔助決策用途。同時，同一維度亦不存在嚴格的劃分界線，例如：在用途方面，通過圖像識別技術進行流程優化則需考慮診療驅動相關要求，自動測量結果若為臨床決策指標則屬于輔助決策范疇；在功能方面，控制功能可與處理功能相結合，前處理過程可包含后處理功能；在算法方面，有監督學習和無監督學習可結合為半監督學習，統計模型可基于大數據，白盒算法和黑盒算法可結合為灰盒算法。
人工智能醫療器械可同時采用多種、多個人工智能算法，在前處理、后處理過程中實現輔助決策、非輔助決策用途。因此，應結合人工智能醫療器械的預期用途、使用場景、核心功能以及所用算法的類型特點、技術特征、組合形式開展相應產品質控工作，以保證產品的安全有效性。
（三）人工智能算法更新
人工智能算法特別是基于數據的算法，具有快速迭代更新的特性。人工智能算法更新屬于軟件更新范疇，故遵循軟件更新的一般原則及要求：人工智能算法更新若影響到人工智能醫療器械的安全性或有效性則屬于重大軟件更新，應申請許可事項變更；反之，人工智能算法更新若未影響到人工智能醫療器械的安全性和有效性則屬于輕微軟件更新，通過質量管理體系進行控制，無需申請許可事項變更。
人工智能算法更新可分為算法驅動型更新和數據驅動型更新。其中，算法驅動型更新是指人工智能醫療器械所用算法、算法結構、算法流程、算法框架（詳見后文）、輸入輸出等發生改變，通常屬于重大軟件更新。算法重新訓練即棄用原有訓練數據而采用全新訓練數據進行算法訓練，亦屬于算法驅動型更新。
數據驅動型更新是指僅由訓練數據量增加而發生的算法更新。數據驅動型更新是否屬于重大軟件更新原則上以算法性能評估結果（基于相同測試集）為準，算法性能評估結果若發生顯著性改變則屬于重大軟件更新，即算法性能評估結果與前次注冊相比存在統計學差異，反之屬于輕微軟件更新。
軟件版本命名規則應涵蓋算法驅動型更新和數據驅動型更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉全部典型情況。
人工智能醫療器械其他類型的算法更新、軟件更新以及重大軟件更新判定原則詳見醫療器械軟件指導原則、醫療器械網絡安全指導原則。軟件版本命名規則的一般要求詳見醫療器械軟件指導原則。
三、基本原則
（一）基于算法特性
人工智能技術從發展驅動要素角度實為基于模型/數據和算力的算法，其中模型/數據是人工智能技術的基礎，算力是人工智能技術的保證，算法是人工智能技術的核心。
由于算力所用計算資源本身不屬于監管對象，計算資源的監管要求取決于其所屬的計算平臺類型（參見后文人工智能芯片要求）。故從監管角度出發，人工智能醫療器械安全有效性評價以算法特性為核心重點關注其泛化能力，以模型/數據為基礎重點關注其質控情況，同時兼顧算力不足與失效的影響及風險。
人工智能算法的類型不同，其算法特性、適用場景也不同，評價重點亦有所側重；同時，不同類型的人工智能算法可組合使用，需結合各算法特性和算法組合形式進行整體評價。因此，應結合人工智能醫療器械的預期用途、使用場景、核心功能選擇與之相適宜的人工智能算法或算法組合，基于算法特性并結合風險管理開展相應驗證與確認工作。
以深度學習為例，其是指通過訓練具有多個隱層的神經網絡而獲得輸入輸出映射關系的人工智能算法，實為基于海量數據和高算力的黑盒算法。因此，對于采用深度學習技術的人工智能醫療器械，重點關注其算法泛化能力、數據質控、可解釋性等問題，同時，深度學習若與其他類型的人工智能算法組合使用，還應基于各算法特性重點關注算法組合的整體評價問題。
人工智能新算法研究處于深入發展階段，如基于小樣本數據、基于弱標注數據、基于非結構化數據的算法。人工智能醫療器械若使用人工智能新算法，亦需基于算法特性并結合風險管理開展相應驗證與確認工作，以保證產品的安全有效性。
（二）風險導向
人工智能醫療器械的風險水平亦可用軟件安全性級別進行表述，軟件安全性級別越高，其生存周期質控要求越嚴格，注冊申報資料越詳盡，具體要求詳見醫療器械軟件指導原則。
人工智能醫療器械的軟件安全性級別可基于產品的預期用途、使用場景、核心功能進行綜合判定，其中預期用途主要考慮用途類型、重要程度、緊迫程度等因素，使用場景主要考慮使用場合、疾病特征、適用人群、目標用戶等因素，核心功能主要考慮功能類型、核心算法、輸入輸出、接口等因素。亦可根據風險管理所確定的風險等級進行判定，軟件安全性級別與風險等級的分級可以不同，但二者存在對應關系，因此可根據風險等級來判定軟件安全性級別，但應在采取風險緩解措施之前進行判定。
人工智能醫療器械的主要風險從算法角度包括過擬合和欠擬合，其中過擬合是指算法對于訓練數據過度學習而將非普遍規律作為重要特征，欠擬合是算法對于訓練數據學習不充分而遺漏重要特征，均會降低算法泛化能力。從用途角度，輔助決策主要包括假陰性和假陽性，其中假陰性即漏診，可能導致后續診療活動延誤，特別是要考慮快速進展疾病的診療活動延誤風險，而假陽性即誤診，可能導致后續不必要的診療活動；非輔助決策從算法設計目標能否得以實現角度，亦可參考輔助決策分為假陰性和假陽性。此外，進口人工智能醫療器械還需考慮中外差異風險，如中外在人種、流行病學特征、臨床診療規范等差異。
人工智能醫療器械應結合產品的預期用途、使用場景、核心功能開展相應風險管理活動，采取有效的風險控制措施將風險降至可接受水平，并貫穿于人工智能醫療器械全生命周期過程。
（三）全生命周期管理
注冊人應結合質量管理體系要求，參考軟件、人工智能相關標準和良好工程實踐，建立人工智能醫療器械生存周期過程，開展與軟件安全性級別相匹配的產品質量保證工作，將風險管理、可追溯分析貫穿于生存周期全程，形成記錄以供體系核查。
上市前應開展充分、適宜、有效的驗證與確認活動，保證算法泛化能力滿足臨床需求，識別可預見風險并將其降至可接受水平，明確產品使用限制（含技術限制，下同）和必要警示提示信息。上市后持續開展算法泛化能力研究，結合用戶投訴、不良事件和召回等情況，識別前期未預見風險并采取有效的風險控制措施將風險降至可接受水平，同時根據產品更新需求，經評估后實施更新活動，開展與之相適宜的驗證與確認活動，保證算法泛化能力持續滿足臨床需求。
四、人工智能醫療器械生存周期過程
人工智能醫療器械生存周期（即生命周期）過程可基于軟件生存周期過程予以建立，具體要求詳見醫療器械獨立軟件生產質量管理規范及其現場檢查指導原則。
考慮到有監督深度學習是當前人工智能醫療器械的主流算法，故本指導原則以有監督深度學習為例詳述人工智能醫療器械生存周期過程質控要求，主要包括需求分析、數據收集、算法設計、驗證與確認、更新控制等階段。其他類型的人工智能算法可參照執行，不適用內容詳述理由并予以記錄。
（一）需求分析
需求分析以臨床需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合考慮法規、標準、用戶、產品、數據、功能、性能、接口、用戶界面、網絡安全、警示提示等需求，重點考慮數據收集、算法性能、使用限制等要求。
數據收集需考慮數據來源的合規性和多樣性、數據分布的科學性和合理性、數據質控的充分性和有效性。數據來源在合規性基礎上保證多樣性，以提高算法泛化能力，例如：盡可能來源于多家、多地域、多層級的代表性臨床機構，盡可能來源于多家、多種、多參數的代表性采集設備。數據分布的科學性和合理性需結合目標疾病流行病學特征予以考慮，包括但不限于疾病構成（如分型、分級、分期）、人群分布（如健康、患者，性別、年齡、職業、地域、生活方式）、統計指標（如發病率、患病率、治愈率、死亡率、生存率）等情況，以及目標疾病并發癥與類似疾病的影響情況。數據質控的充分性和有效性需結合數據采集與數據標注的人員、設備、過程等影響因素予以考慮，具體要求詳見后文。
算法性能需結合臨床實際和產品定位，綜合考慮假陰性與假陽性、重復性與再現性、魯棒性/健壯性等性能指標要求，兼顧不同性能指標的制約關系，如假陰性與假陽性等。
使用限制需考慮產品禁用、慎用等場景，準確表述產品使用場景，提供必要警示提示信息。
（二）數據收集
數據收集基于合規性要求，主要考慮數據采集、數據整理、數據標注、數據集構建等活動的質控要求，以保證數據質量和算法訓練效果。
1.數據采集
數據采集需考慮采集設備、采集過程、數據脫敏等質控要求，并建立數據采集操作規范。數據采集亦可使用歷史數據，需結合樣本規模、采集難度等影響因素合理選擇數據采集方式。
采集設備質控包括采集設備的兼容性和采集特征等要求。兼容性基于數據生成方式（直接生成、間接生成）考慮采集設備的兼容性要求，如采集設備的名稱、型號規格、制造商、性能指標等要求，若無需考慮兼容性要求詳述理由并予以記錄。采集特征考慮采集設備的采集方式（如常規成像、增強成像）、采集協議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）等要求。
采集過程質控包括人員管理、采集流程、采集質量評估等要求。人員管理考慮采集人員、審核人員的選拔（如職稱、工作年限、工作經驗、所在機構，若有國外人員明確其資質要求）、培訓（如培訓材料、培訓方案）、考核（如方法、頻次、指標、通過準則、一致性）等要求。采集流程考慮人員職責、采集步驟、結果審核等要求。采集質量評估考慮評估人員、評估方法、評估指標、通過準則等要求，并記錄評估結果。
數據采集若使用歷史數據，需列明采集設備及采集特征要求，并開展數據采集質量評估工作。
采集的數據應進行數據脫敏以保護患者隱私，數據脫敏需明確脫敏的類型（靜態、動態）、規則、程度、方法。
2.數據整理
脫敏數據匯總形成原始數據庫，不同模態的數據在原始數據庫中需加以區分（下同）。
數據整理基于原始數據庫考慮數據清洗、數據預處理的質控要求。數據清洗需明確清洗的規則、方法、結果，數據預處理需明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結果。數據整理所用軟件工具均需明確名稱、型號規格、完整版本、制造商、運行環境，并進行軟件確認。
數據經整理后形成基礎數據庫，需明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為單一數據、數據序列（由多個單一數據組成，如結構序列、功能序列、時間序列）。樣本量需考慮樣本規模的充分性，明確樣本總量確定依據。樣本分布需考慮樣本的多樣性和偏倚控制問題，依據疾病構成、適用人群、數據來源機構、采集設備、樣本類型等因素明確數據分布情況。
3.數據標注
數據標注作為有監督學習數據質控的關鍵環節，應建立數據標注操作規范，明確標注資源管理、標注過程質控、標注質量評估等要求。
標注資源管理包括人員管理和基礎設施管理。人員管理考慮標注人員、審核人員和仲裁人員的選拔（如職稱、工作年限、工作經驗、所在機構，若有國外人員明確其資質要求）、培訓（如培訓材料、培訓方案）、考核（如方法、頻次、指標、通過準則、一致性）等要求。基礎設施管理考慮標注場所（真實場所或模擬場所，模擬場所可根據產品實際情況調整模擬程度，詳述調整理由并予以記錄）、標注環境條件（如空間、照明、溫度、濕度、氣壓）、標注軟件（名稱、型號規格、完整版本、制造商、運行環境、軟件確認）等要求。
標注過程質控包括人員職責（如資質、數量、職責）、標注規則（如臨床指南、專家共識、專家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。
標注質量評估包括評估人員、評估方法、評估指標、通過準則等要求，并記錄評估結果。
數據經標注后形成標注數據庫，其樣本類型可分為數據塊（如圖像區域、數據片段）、單一數據（由多個數據塊組成）、數據序列（由多個單一數據組成）。樣本量、樣本分布等要求及風險考量與基礎數據庫相同。
數據標注可使用自動標注軟件，但自動標注結果不得直接使用，應由標注人員審核后方可使用；同時，自動標注軟件亦需明確名稱、型號規格、完整版本、制造商、運行環境等信息，并進行軟件確認。
4.數據集構建
基于標注數據庫構建訓練集（用于算法訓練）、調優集[1]（若有，用于算法超參數調優）、測試集（用于算法性能評估），明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。訓練集需保證樣本分布具有均衡性，測試集、調優集原則上需保證樣本分布符合臨床實際情況，訓練集、調優集、測試集的樣本應兩兩無交集并通過查重予以驗證。
為解決樣本分布不滿足預期的問題，可對訓練集、調優集小樣本量數據進行擴增，原則上不得對測試集進行數據擴增，對抗測試（詳見后文）除外。數據擴增需明確擴增的對象、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，擴增倍數過大應考慮數據偏倚的影響及風險。若采用生成對抗網絡（詳見后文）進行數據擴增，需明確算法基本信息以及算法選用依據。
數據經擴增后形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。
（三）算法設計
人工智能算法作為人工智能醫療器械的核心，其設計主要考慮算法選擇、算法訓練、算法性能評估等要求。對于黑盒算法，算法設計應開展算法性能影響因素分析，同時建議與現有醫學知識[2]建立關聯，以提升算法可解釋性。
1.算法選擇
算法選擇提供所用算法的名稱、類型、結構（如層數、參數規模）、輸入輸出、流程圖、算法框架（含自研框架、現成框架）、運行環境等基本信息，并明確算法選用依據，包括選用的理由和基本原則。
若組合使用遷移學習（詳見后文）、強化學習（詳見后文），亦需提供算法基本信息以及算法選用依據。
2.算法訓練
算法訓練需基于訓練集、調優集進行訓練和調優，考慮評估指標、訓練方法、訓練目標、調優方法、訓練數據量-評估指標曲線等要求。
評估指標建議根據臨床需求進行選擇，輔助決策可選擇敏感性、特異性等指標，非輔助決策可選擇圖像質量、測量準確性等指標。訓練方法包括但不限于留出法和交叉驗證法，若組合使用聯邦學習（詳見后文）亦需明確算法選用依據，并提供算法基本信息。訓練目標根據臨床情況詳述目標確定依據，提供ROC曲線等證據予以證實。調優方法明確優化策略和實現方法。訓練數據量-評估指標曲線用于證實算法訓練的充分性和有效性。
3.算法性能評估
算法性能評估作為軟件驗證的重要組成部分，需基于測試集對算法設計結果進行評估，綜合考慮假陰性與假陽性、重復性與再現性、魯棒性/健壯性等評估要求，以證實算法性能滿足算法設計目標，并作為軟件驗證、軟件確認的基礎。亦可基于第三方數據庫（詳見后文）開展算法性能評估。
同時，開展算法性能影響因素分析以提升算法可解釋性，詳述影響算法性能的主要因素及其影響程度，如采集設備、采集參數、疾病構成、病變特征等因素，基于分析結果明確產品使用限制和必要警示提示信息。
此外，根據產品實際情況開展壓力測試（詳見后文）、對抗測試等測試，以全面深入評估算法性能。
（四）驗證與確認
1.軟件驗證
軟件驗證是指通過提供客觀證據認定軟件開發、軟件更新某一階段的輸出滿足輸入要求，包括軟件驗證測試（單元測試、集成測試、系統測試）、設計評審等系列活動。
軟件驗證通過法規、標準、用戶、產品、數據、功能、性能、接口、用戶界面、網絡安全、警示提示等測試，驗證軟件的安全有效性，并作為軟件確認的基礎。
2.軟件確認
軟件確認是指通過提供客觀證據認定軟件滿足用戶需求和預期目的，包括軟件確認測試（用戶測試）、臨床評價、設計評審等系列活動。根據產品實際情況，軟件確認方式可單一使用，亦可組合使用。
軟件確認測試基于軟件需求在真實或模擬使用場景下予以開展，亦可基于測評數據庫（詳見后文）予以開展。
臨床評價基本原則詳見醫療器械軟件指導原則，對于非輔助決策類功能，可基于核心功能開展同品種醫療器械比對，全新的功能、算法和用途原則上均需開展臨床評價；對于輔助決策類功能，需基于核心算法開展同品種醫療器械比對，所選同品種醫療器械的臨床證據需基于臨床試驗（可使用歷史數據），全新的功能、算法和用途原則上均需開展臨床試驗。具體要求詳見臨床評價、臨床試驗設計、境外臨床試驗數據接受等通用指導原則，以及人工智能醫療器械臨床評價等專用指導原則。
同時，開展算法性能比較分析，詳述各類測試場景（含臨床評價）算法性能變異度較大的原因，基于分析結果明確產品使用限制和必要警示提示信息。
最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。
（五）更新控制
人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄以供體系核查。
對于算法更新，無論算法驅動型更新還是數據驅動型更新，均應開展算法性能評估、臨床評價等驗證與確認活動，以保證算法更新的安全有效性。對于軟件更新，具體要求詳見醫療器械軟件指導原則、醫療器械獨立軟件生產質量現場檢查指導原則。
總之，人工智能醫療器械所含的每個人工智能算法，均應獨立開展需求分析、數據收集、算法設計、驗證與確認、更新控制等活動，同時考慮人工智能算法組合的整體評價要求，以保證產品的安全有效性。
前期已開發的人工智能醫療器械若不滿足本指導原則的適用要求，應開展差距分析并予以記錄，明確產品使用限制和必要警示提示信息。必要時采取補救措施，以滿足質量管理體系要求，并保證產品的安全有效性。
五、技術考量
（一）注冊單元與檢測單元
人工智能醫療器械的注冊單元與檢測單元劃分原則詳見醫療器械軟件指導原則，人工智能獨立軟件、人工智能軟件組件分別參照獨立軟件、軟件組件的要求。
若軟件核心功能相同但核心算法類型不同，則每類核心算法均需在產品技術要求中注明并檢測。
（二）網絡安全與數據安全
人工智能醫療器械應結合預期用途、使用場景、核心功能，基于保密性、完整性、可得性等網絡安全特性，確定網絡安全能力建設要求，以應對網絡攻擊和數據竊取等網絡威脅，如算法框架漏洞攻擊、數據污染等。具體要求詳見醫療器械網絡安全指導原則。
除此之外，還應在人工智能醫療器械全生命周期過程中考慮數據安全問題，包括上市前設計開發階段和上市后使用階段。數據轉移需明確轉移方法、數據污染防護措施、數據銷毀等要求。數據整理、數據集構建、算法訓練、算法性能評估、軟件驗證等內部活動需在封閉網絡環境下開展以防止數據污染。數據標注、軟件確認等涉及外方的活動需明確數據污染防護措施，特別是在開放網絡環境下。各數據庫（集）均需進行數據備份，明確備份的方法、頻次、數據恢復方法。數據采集、上市后使用需考慮臨床機構關于網絡安全與數據安全的接口要求。
（三）移動計算與云計算
人工智能醫療器械若使用移動計算、云計算等技術，遵循相關指導原則要求。具體而言，移動計算相關要求詳見移動醫療器械指導原則，云計算相關要求詳見醫療器械軟件指導原則，移動計算與云計算的網絡安全相關要求詳見醫療器械網絡安全指導原則。
（四）人因設計與可用性
人工智能醫療器械建議加強用戶接口人因設計以提升可用性，并將用戶錯誤使用的風險降至可接受水平，特別是對軟件用戶界面。具體要求詳見醫療器械人因設計相關指導原則。
（五）壓力測試
本指導原則所述壓力測試[3]是指采用罕見或特殊臨床真實數據樣本開展的算法性能測試，側重于評估算法泛化能力的極限。
注冊人應根據產品實際情況開展壓力測試，以全面深入評估算法性能。若未開展相應測試或測試結果不佳，均需對產品的適用范圍、使用場景、核心功能進行必要限制，并在說明書中明確產品使用限制和必要警示提示信息。
（六）對抗測試
本指導原則所述對抗測試是指基于臨床真實數據樣本利用數據擾動、生成對抗網絡等技術產生對抗樣本，并采用對抗樣本開展的算法性能測試，側重于評估算法的魯棒性/健壯性。
若條件具備，建議注冊人開展對抗測試，以全面深入評估算法性能。若未開展相應測試或測試結果不佳，均需明確產品使用限制和必要警示提示信息。
（七）第三方數據庫
第三方數據庫可用于算法性能評估，但其類型、用途等情況各不相同，未必能夠完全滿足軟件確認測試的要求。因此，使用第三方數據庫進行軟件確認測試，應評估其滿足軟件確認測試的充分性、適宜性和有效性。
可用于軟件確認測試的第三方數據庫即為測評數據庫。測評數據庫除滿足數據庫通用要求（如數據管理、網絡安全與數據安全、可擴展性等）外，還應滿足以下專用要求。
1.權威性：測評數據庫的數據采集、數據標注及其質控工作應由相應臨床專業領域的權威機構（如國家臨床醫學研究中心）負責，以保證數據準確性；標注人員、審核人員、仲裁人員需具備與其崗位職責相匹配的臨床實踐經驗。
2.科學性：測評數據庫的數據樣本均應為臨床真實數據，不得進行數據擴增；樣本分布符合目標疾病流行病學特征情況，樣本總量基于目標疾病流行病學統計指標、測試抽樣誤差控制要求，通過統計學計算予以確定；單次測試原則上根據測評數據庫樣本分布情況等比例隨機抽取測試樣本，且其樣本量滿足測試抽樣誤差控制要求。
3.規范性：測評數據庫的數據采集、數據脫敏、數據清洗、數據預處理、數據標注、數據更換、數據管理、數據安全保證等數據治理活動以及測評活動均應建立質控程序文件，并滿足可追溯性要求。
4.多樣性：測評數據庫的樣本應來源于多家、多地域、多層級的代表性臨床機構以及多家、多種、多參數的代表性采集設備，以保證數據多樣性能夠滿足算法泛化能力評估要求；若條件具備，測評數據庫可包含適當比例的罕見或特殊臨床真實數據樣本，以便開展壓力測試深入評估算法泛化能力的極限。
5.封閉性：測評數據庫應封閉管理，樣本總量需遠大于單次測試樣本量，測評活動亦需封閉管理，以保證算法性能評價的客觀性、公正性、公平性。
6.動態性：測評數據庫應定期更換一定比例的數據樣本，以保證其具備持續的多樣性和封閉性；數據更換的頻率、比例需有確定依據，并滿足規范性要求；更換出庫的數據樣本由測評數據庫責任方自行確定其處理方案。
基于測評數據庫，利用數據擾動、生成對抗網絡等技術，可衍生出對抗測評數據庫。若條件具備，建議基于測評數據庫建設對抗測評數據庫，以全面深入評價算法性能。
第三方數據庫經評估符合要求后可成為測評數據庫（含對抗測評數據庫），測評數據庫名錄另行制定并動態調整。
公開數據庫因不具備封閉性而不能用作測評數據庫，但可用于算法性能評估，若用于算法訓練應重新進行質量評估。使用公開數據庫應根據其使用情況開展必要評估工作，并在注冊申報資料中予以說明。
其他類型第三方數據庫可參照測評數據庫和公開數據庫的要求予以使用，同時考慮其適用場景、數據質量評估、時效性等要求。
（八）基于模型的算法
基于模型的算法對于訓練數據的數量要求相對較低，通常為白盒算法，特征提取需要人為干預，可與現有醫學知識建立關聯，可解釋性相對較高。
對于此類算法，有監督學習的模型/數據質控要求參照有監督深度學習執行，不適用內容詳述理由并予以記錄。同理，無監督學習的模型/數據質控要求亦參照有監督深度學習執行，其中數據標注不適用，其余不適用內容詳述理由并予以記錄。
此類算法無論有監督學習還是無監督學習，均需明確特征信息，包括但不限于特征分類（如人口統計學、生物學、形態學）、特征屬性（如形態、紋理、性質、尺寸、邊界）、特征展現方式（如形狀、尺寸、邊界、顏色、數量）等信息。
（九）遷移學習
遷移學習是指將在某領域或任務學習到的模型應用于不同但相關的領域或任務的人工智能算法，如將在自然圖像領域學習形成的模型應用于醫學圖像領域。遷移學習主要包括基于特征和基于模型的算法，并可與深度學習、聯邦學習等人工智能算法組合使用。
人工智能醫療器械若使用遷移學習算法，注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環境等基本信息以及算法選用依據，并根據遷移學習的類型及其算法特性提供預訓練模型的數據集構建、驗證與確認等資料。
（十）強化學習
強化學習是指基于行動與環境的交互，實現行動從環境所獲累積獎勵最大化的人工智能算法，采用“試錯”的學習策略。強化學習從不同角度具有不同類型劃分維度，如有模型與無模型的算法、基于策略和基于價值的算法等，并可與深度學習等人工智能算法組合使用。
人工智能醫療器械若使用強化學習算法，注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環境等基本信息以及算法選用依據，并根據強化學習類型及其算法特性提供算法驗證與確認資料。
（十一）聯邦學習
聯邦學習是基于多個數據源協同建立學習模型的人工智能算法，即每個數據源獨立進行本地數據學習，通過交換數據模型共同建立學習模型，實為分布式算法訓練技術，亦屬于隱私計算技術。聯邦學習主要包括橫向聯邦（基于樣本）和縱向聯邦（基于特征）等算法，并可與遷移學習等人工智能算法組合使用。
人工智能醫療器械若使用聯邦學習算法等隱私計算技術進行算法訓練，注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環境等基本信息以及算法選用依據，并根據聯邦學習等隱私計算技術的算法類型及其算法特性提供算法驗證與確認資料。
（十二）生成對抗網絡
生成對抗網絡是通過生成器和判別器的互相博弈學習而產生與臨床真實數據類似樣本的人工智能算法，主要用于數據擴增或者對抗測試的樣本生成，并可與深度學習等人工智能算法組合使用。
人工智能醫療器械若使用生成對抗網絡進行數據擴增，注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環境等基本信息以及算法選用依據，并根據生成對抗網絡類型及其算法特性提供算法驗證與確認資料。
（十三）基于數據的無監督學習
基于數據的無監督學習具備自學習的能力，在臨床機構部署后可通過持續學習該臨床機構的數據而進行產品快速更新。此時，臨床機構亦成為產品開發者，與注冊人共同承擔產品質量責任和法律責任；同時，此種更新對于產品安全有效性的影響具有高度不確定性，特別是人工智能黑盒算法。
因此，在當前法律法規體系和技術水平條件下，基于數據的無監督學習應關閉自學習功能，或者雖開放自學習功能但不得投入臨床使用，即臨床始終使用產品原有功能，自學習功能僅用于算法訓練或臨床科研。
注冊人應按照質量管理體系要求，對自學習功能所產生的產品更新的安全有效性進行驗證與確認，若適用還應根據法律法規要求申請許可事項變更，待批準后方能將自學習功能所產生的產品更新投入臨床使用。
（十四）人工智能算法框架
人工智能算法框架從開發者角度可分為自研算法框架和現成算法框架，其中自研算法框架即注冊人自行研發的算法框架，屬于自研軟件范疇；現成算法框架是指注冊人所使用的由第三方開發的算法框架（如Tensorflow、PyTorch等），視為現成軟件，現成算法框架開發者視為醫療器械供應商。
人工智能算法框架更新包括產品更新（即更換算法框架）、版本更新、補丁更新，其中產品更新、非效率型版本更新對于人工智能醫療器械而言屬于重大軟件更新，效率型版本更新（即運算效率單純提高）、補丁更新對于人工智能醫療器械而言一般屬于輕微軟件更新，除非影響到人工智能醫療器械的安全性或有效性。人工智能算法框架同時發生多種類型的更新，同樣遵循風險從高原則。
人工智能算法框架可參照自研軟件、現成軟件相關要求提交相應注冊申報資料，均需明確算法框架的名稱、類型（自研框架、現成框架）、型號規格、完整版本、制造商等信息。
（十五）人工智能芯片
人工智能芯片作為計算資源的組成部分，本身不屬于監管對象，需要根據其所屬的計算平臺類型考慮監管要求。對于人工智能獨立軟件，人工智能芯片屬于通用計算平臺的組成部分，不屬于產品結構組成，作為軟件運行環境予以考慮。對于人工智能軟件組件，人工智能芯片屬于醫用計算平臺的組成部分，屬于產品結構組成，需與產品進行整體評價。
無論何種情況，使用人工智能芯片均應在注冊申報資料中明確其名稱、型號規格、制造商、性能指標等信息。
六、算法研究資料
（一）算法研究報告
算法研究報告適用于人工智能算法或算法組合的初次發布和再次發布，包括算法基本信息、算法風險管理、算法需求規范、數據質控、算法訓練、算法驗證與確認、算法可追溯性分析、結論等內容，不適用內容詳述理由。
1.算法基本信息
明確算法的名稱、類型、結構、輸入輸出、流程圖、算法框架、運行環境等基本信息以及算法選用依據。
其中，算法類型從學習策略、學習方法、可解釋性等角度明確算法特性。算法結構明確算法的層數、參數規模等超參數信息。算法框架明確所用人工智能算法框架的基本信息，包括名稱、類型（自研框架、現成框架）、型號規格、完整版本、制造商等信息。運行環境明確算法正常運行所需的典型運行環境，包括硬件配置、外部軟件環境、網絡條件；若使用人工智能芯片需明確其名稱、型號規格、制造商、性能指標等信息。算法選用依據詳述人工智能算法或算法組合選用的理由和基本原則。
2.算法風險管理
明確算法的軟件安全性級別（輕微、中等、嚴重）并詳述判定理由。提供算法風險管理資料，明確過擬合與欠擬合、假陰性與假陽性、數據擴增與數據偏倚等風險的控制措施。若無單獨文檔可提供軟件風險管理資料，并注明算法風險管理所在位置。
3.算法需求規范
提供算法需求規范，若無單獨文檔可提供軟件需求規范，并注明算法需求所在位置。
4.數據質控
提供數據來源合規性聲明，列明數據來源機構的名稱、所在地域、數據收集量、倫理批件編號等信息。
提供數據采集操作規范，根據數據采集方式明確采集設備、采集過程、數據脫敏等質控要求。
提供數據標注操作規范，明確數據整理、標注資源管理、標注過程質控、標注質量評估、數據安全保證等要求。
若適用，提供數據擴增情況說明，明確擴增的對象、方式、方法、倍數等信息。
依據疾病構成、適用人群、數據來源機構、采集設備、樣本類型等因素提供原始數據庫、基礎數據庫、標注數據庫、擴增數據庫的數據分布情況。
若數據來自公開數據庫，提供公開數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如數據使用量、數據質量評估、數據分布等）。
5.算法訓練
依據疾病構成、適用人群、數據來源機構、采集設備、樣本類型等因素提供訓練集、調優集的數據分布情況。
明確算法訓練所用的評估指標、訓練方法、訓練目標、調優方法，提供ROC曲線證明訓練目標滿足臨床要求，提供訓練數據量-評估指標曲線以證實算法訓練的充分性和有效性。
6.算法驗證與確認
依據疾病構成、適用人群、數據來源機構、采集設備、樣本類型等因素提供測試集的數據分布情況。
提供假陰性與假陽性、重復性與再現性、魯棒性/健壯性等算法性能指標評估結果，以證明算法性能滿足算法設計目標。
若使用第三方數據庫開展算法性能評估，提供第三方數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如測試數據樣本量、評估指標、評估結果等）。
若適用，提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產品使用限制和必要警示提示信息。
若適用，提供壓力測試、對抗測試等測試報告。若未開展相應測試或測試結果不佳，均需明確產品使用限制和必要警示提示信息。
若基于測評數據庫進行算法確認，提供測評數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如評估指標、評估結果等）。若基于臨床評價方式進行算法確認，指向臨床評價資料即可。
提供上述各類測試場景（含臨床評價）下的算法性能評估結果比較分析報告，明確產品使用限制和必要警示提示信息。
7.算法可追溯性分析
提供算法可追溯性分析報告，即追溯算法需求、算法設計、源代碼（明確軟件單元名稱即可）、算法測試、算法風險管理的關系表。
若無單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。
8.結論
簡述算法性能綜合評價結果，明確對產品的適用范圍、使用場景、核心功能所做的必要限制，并判定人工智能算法或算法組合的安全有效性是否滿足要求。
（二）算法更新研究報告
算法更新研究報告僅適用于人工智能算法或算法組合的再次發布，在算法研究報告相應內容中明確算法更新情況。
其中，算法基本信息描述申報算法情況，若適用詳述與前次注冊相比的變化情況；算法風險管理、算法需求規范、數據質控、算法訓練、算法驗證與確認、算法可追溯性分析描述算法更新的具體情況；結論簡述算法性能綜合評價結果，并判定人工智能算法或算法組合更新的安全有效性是否滿足要求。
七、注冊申報資料補充說明
注冊申報資料應在符合醫療器械注冊申報資料要求等文件要求基礎上，滿足醫療器械軟件、醫療器械網絡安全、移動醫療器械等相關指導原則要求，同時需要重點關注以下要求。
（一）產品注冊
1. 申請表信息
（1）人工智能獨立軟件
產品名稱應符合通用名稱命名規范要求，通常體現輸入數據（如CT圖像、眼底照片）、目標疾病（含病變、疾病的屬性）、預期用途（如輔助分診、輔助檢測、輔助診斷）等特征詞。
適用范圍基于預期用途、使用場景、核心功能予以規范，包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶、使用場所、采集設備要求、使用限制等內容。
（2）人工智能軟件組件
人工智能軟件組件通常無需在注冊證載明信息中體現。其軟件功能名稱可參照人工智能獨立軟件要求。若有，適用范圍體現輔助決策類軟件功能的情況。
2. 算法研究資料
在軟件研究資料中以算法為單位，提交每個人工智能算法的算法研究報告，具體要求詳見第六章。
3. 產品技術要求
產品技術要求若含有基于測評數據庫測試的性能指標，應明確測評數據庫的基本信息（如名稱、型號規格、完整版本、責任方等）。
基于其他類型第三方數據庫測試的性能指標，原則上無需在產品技術要求中體現。
4. 說明書
根據算法性能綜合評價結果，對產品的適用范圍、使用場景、核心功能進行必要限制，并在說明書中明確產品使用限制和必要警示提示信息。若適用，明確數據采集設備和數據采集過程相關要求。
對于輔助決策類產品，說明書應明確人工智能算法的算法性能評估總結（測試集基本信息、評估指標與結果）、臨床評價總結（臨床數據基本信息、評價指標與結果）、決策指標定義（或提供決策指標定義所依據的臨床指南、專家共識等參考文獻）等信息。此時若采用基于數據的人工智能算法，說明書還應補充算法訓練總結信息（訓練集基本信息、訓練指標與結果）。
若產品采用人工智能黑盒算法，根據算法影響因素分析報告，在說明書中明確產品使用限制和必要警示提示信息。
對于軟件安全性級別為嚴重級別的產品，原則上需提供用戶培訓材料。
（二）許可事項變更
1. 算法研究資料
根據人工智能算法的更新情況，在軟件研究資料中以算法為單位，提交每個人工智能算法的算法更新研究報告（或算法研究報告），具體要求詳見第六章。
2. 產品技術要求
若適用，產品技術要求變更對比表需體現測評數據庫的變化情況。
3. 說明書
若適用，提交用戶培訓材料。
（三）延續注冊
延續注冊通常無需提交算法相關研究資料。若適用，根據注冊證“備注”所載明的要求提交相應算法研究資料。
八、編寫單位
本指導原則編寫單位為國家藥品監督管理局醫療器械技術審評中心。
九、參考文獻
[1] 國家藥品監督管理局. 醫療器械注冊管理辦法（修訂草案征求意見稿），2021.3
[2] 原國家食品藥品監督管理總局. 醫療器械說明書和標簽管理規定（總局令第6號），2014.7
[3] 國家藥品監督管理局. 醫療器械注冊申報資料要求和批準證明文件格式（修訂草案征求意見稿），2021.5
[4] 國家藥品監督管理局. 醫療器械主文檔登記事項（2021年第36號公告），2021.3
[5] 國家藥品監督管理局. 醫療器械通用名稱命名指導原則（2019年第99號通告），2019.12
[6] 國家藥品監督管理局. 醫療器械安全和性能的基本原則（2020年第18號通告），2020.3
[7] 國家藥品監督管理局. 醫療器械臨床評價技術指導原則（征求意見稿），2021.5
[8] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械軟件技術審查指導原則（第二版）（征求意見稿），2020.6
[9] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械網絡安全技術審查指導原則（第二版）（征求意見稿），2020.9
[10] 原國家食品藥品監督管理總局. 移動醫療器械注冊技術審查指導原則（2017年第222號通告），2017.12
[11] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械人因設計技術審查指導原則（報批稿），2020.10
[12] 國家藥品監督管理局醫療器械技術審評中心. 人工智能醫療器械臨床評價技術審查指導原則（草稿），2021.
[13] 國家藥品監督管理局醫療器械技術審評中心. 肺結節CT影像輔助決策軟件注冊技術審查指導原則（草稿），2021.
[14] 國家藥品監督管理局醫療器械技術審評中心. 肺結節CT影像輔助決策軟件臨床評價技術審查指導原則（草稿），2021.
[15] 國家藥品監督管理局醫療器械技術審評中心. 眼底照片輔助決策軟件注冊技術審查指導原則（草稿），2021.
[16] 國家藥品監督管理局醫療器械技術審評中心. 眼底照片輔助決策軟件臨床評價技術審查指導原則（草稿），2021.
[17] 國家藥品監督管理局醫療器械技術審評中心. 深度學習輔助決策醫療器械軟件審評要點（2019年第7號通告），2019.7
[18] 國家藥品監督管理局醫療器械技術審評中心. 肺炎CT影像輔助分診與評估軟件審評要點（試行）（2020年第8號通告），2020.3
[19] 原國家食品藥品監督管理總局. 醫療器械生產質量管理規范（2014年第64號公告），2014.12
[20] 國家藥品監督管理局. 醫療器械生產質量管理規范附錄獨立軟件（2019年第43號通告），2019.7
[21] 國家藥品監督管理局. 醫療器械生產質量管理規范獨立軟件現場檢查指導原則（藥監綜械管〔2020〕57號），2020.5
[22] 國家藥品監督管理局標準管理中心. 人工智能類醫用軟件產品分類界定指導原則（征求意見稿），2021.4
[23] 國家藥品監督管理局標準管理中心. 輔助決策類醫用軟件產品分類界定指導原則（征求意見稿），2021.6
[24] 國家衛生健康委員會. 人工智能輔助診斷技術管理規范（國衛辦醫發〔2017〕7號），2017.2
[25] 國家衛生健康委員會. 人工智能輔助診斷技術臨床應用質量控制指標（國衛辦醫發〔2017〕7號），2017.2
[26] 國家衛生健康委員會. 人工智能輔助治療技術管理規范（國衛辦醫發〔2017〕7號），2017.2
[27] 國家衛生健康委員會. 人工智能輔助治療技術臨床應用質量控制指標（國衛辦醫發〔2017〕7號），2017.2
[28] YY/T 0287-2017 醫療器械 質量管理體系 用于法規的要求
[29] YY/T 0316-2016 醫療器械 風險管理對醫療器械的應用
[30] YY/T 0664-2020 醫療器械軟件 軟件生存周期過程
[31] YY/T 1406.1-2016 醫療器械軟件 第1部分：YY/T 0316應用于醫療器械軟件的指南
[32] YY/T 人工智能醫療器械質量要求和評價 第1部分：術語（報批稿），2020.
[33] YY/T 人工智能醫療器械質量要求和評價 第2部分：數據集通用要求（報批稿），2020.
[34] YY/T 人工智能醫療器械質量要求和評價 第3部分：數據標注通用要求（草稿），2021.
[35] YY/T 人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法（草稿），2021.
[36] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網膜病變輔助決策產品性能指標和測試方法，2020.7
[37] AIMDICP-WG6-2020-002 基于胸部CT的肺結節影像輔助決策產品性能指標和測試方法，2020.7
[38] AIMDICP-WG12-2021-001 醫學人工智能技術學名詞（草稿），2021.
[39] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7
[40] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7
[41] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft, 2019.5
[42] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan, 2021.1
[43] 人工智能醫療器械創新合作平臺. www.aimd.org.cn
[44] IMDRF AIMD. www.imdrf.org/workitems/wi-aimd.asp
[45] ITU&WHO AI4H. www.itu.int/go/fgai4h