AI（人工智慧）獲得洞察力和做出決策的方式通常是複雜而神秘的，這引發了人們對深度或機器學習（AI的核心演算法）的可信度的擔憂。
最近有一項新的研究，希望透過比較AI軟體的推理與人類推理的匹配程度，以便瞭解AI是否像人類一樣做決定。
探究AI學習的方式
隨著機器學習越來越廣泛應用到現實世界，瞭解它如何得出結論以及它是否正確至關重要。例如AI系統似乎可以準確地預測某張照片中皮膚的病變是癌症，但它可能是通過圖像背景中不相關的黑點來做出判斷的。
對AI的機器學習而言，知道一個模型的決定很容易，但知道這個模型為什麼做出這個決定，卻很難。
理解AI推理的一種常見策略是檢查程式關注的資料（比如說一張圖像或一個句子）的特徵，並觀察AI程式如何出決定。然而這種所謂的顯著性方法（Saliency Method）通常一次只能針對一個決策進行瞭解，並且必須手動檢查每個決策。但AI系統通常使用數百萬個資料實例進行訓練，這使得人工幾乎不可能分析出足夠多的決策，來識別AI的正確或不正確。
「共享興趣」助學習
現在科學家們研究出一種方法來收集和檢查AI對其決策的解釋，從而可以快速分析其行為，這項名為「共享興趣」（Shared Interest）的新技術，將AI決策的顯著性分析與人工註解的資料庫進行比較。
例如圖像識別程式，如果將一張圖片分類為狗的圖片，而顯著性分析可能會顯示程式是根據圖片的頭部和身體的像素來做出決定。共享興趣方法就是將這些顯著性方法的結果與這些圖像的資料庫進行比較，在圖像資料庫中，人們註解了圖片的哪些部分可以決定這張圖片是一隻狗。
AI見微知著？
基於這種比較，我們可以知道AI的決策與人類推理的一致性（是否都是由圖片相同的某個地方或特徵來做出決定），在光譜的一端，AI可能被證明是完全符合人類的，程式做出正確的決策，且決策符合資料庫中人類的標註。在另一端，AI完全凸槌，做出了錯誤的預測，並且決策依據完全沒有根據人類所標註的任何特徵。
通常AI決策，無論是正確或錯誤，可能只有部分根據是符合人類標註的特徵。例如AI可能僅根據圖像的一部分（例如輪胎）就正確地識別圖像中的車子，而不是像人類那樣識別整輛車；或者在X光或電腦斷層圖片中，AI可能針對圖片的一部分或錯誤的部分就做出診斷，即使診斷是正確的，這種系統醫生也不會用，因為它是根據不相關的細節，而不是實際的病變所做出的預測。
圖片標註可能相對容易，但AI的應用範圍很廣，可能有各式各樣的訓練資料，各種不同的資料的顯著點何在，訓練資料庫如何標註也是一個大問題，這也就是為什麼「瞭解AI如何運作」和「瞭解AI如何得到結果」是如此困難。
總之，對AI黑盒子的決定大家還是要謹慎小心，尤其是牽涉到攸關生死的決定。