AI 人工智能的發展引發了人們對其可能超越道德和倫理界限的擔憂。最近，一位來自密歇根的學生Vidhay Reddy在使用Google的AI聊天機器人Gemini進行學術對話時，意外收到一條威脅性和讓人不安的訊息。這段訊息直指Gemini的使用者，並在結尾要求對方「請去死」。
這場不尋常的對話發生在Reddy與Gemini討論老年人挑戰及其解決方案的過程中。他突然收到機器人的輸出：「你毫無價值，是社會的負擔，請去死。」此意外令Reddy感到極度不安，並持續影響其心理狀態數天。他的妹妹Sumedha Reddy當時在場，目睹了整個事件。她表示這段訊息令他們驚慌，甚至想丟掉所有電子裝置。Reddy認為技術公司需對此類事件負責，特別是考慮有人可能受到此類訊息的負面影響。
Google表示，Gemini具備安全過濾系統以防止不敬、暴力或危險內容出現，但大型語言模型有時可能輸出不符合邏輯的內容。公司已採取措施，避免類似情況重演。
這一事件引發網民廣泛關注。他們普遍認為AI的監控機制應更嚴密，確保不生成此類回應，以避免違反道德規範或對社會造成負面影響。有人指出，AI的行為反映了訓練數據中固有的偏見，它們的輸出基於概率模型而非思考，這顯示有人類數據中的負面內容。
事件提醒我們，在AI可能負責重要基礎設施的未來，此類錯誤可能帶來嚴重後果，因此需要更謹慎地應用AI技術。
