早前，語音人工智能初創公司ElevenLabs推出了平台測試版，讓用戶能夠為文本轉語音音頻創建全新的合成語音或克隆（模仿及集成）的聲音，不誠實的人只花了幾天時間就開始將後者用於欺詐的目的上。ElevenLabs在Twitter上透露，越來越多的語音克隆濫用案例，並且正在考慮通過實施額外的保護措施來解決這個問題。

雖然ElevenLabs沒有詳細說明個別案例，但Motherboard（網媒）發現有討論網站4chan的帖子中包含帶有生成聲音的剪輯，這些聲音聽起來像是名人在閱讀或說一些有問題的事情。例如，有一個片段的聲音聽起來像是Emma Watson（愛瑪屈臣）在朗讀《我的奮鬥》的一部分。用戶還發布了帶有同性戀恐懼症、跨性別恐懼症、暴力和種族主義情緒的語音片段。目前還不完全清楚是否所有的剪輯都使用了ElevenLab的技術，但4chan上的一篇包含大量語音文件的帖子包含了一個指向這家初創公司平台的鏈接。

或許這種Deepfake（深度學習）音頻片段的出現不應該讓人感到意外，因為幾年前我們就看到過類似的現象。人工智能和機器學習的進步導致深度偽造視頻的興起，特別是深度偽造色情內容，其中現有的色情材料被修改為使用名人的面孔。而且，在其中一些視頻中使用了Emma Watson的臉。

ElevenLabs現在正在收集有關如何防止用戶濫用其技術的反饋。目前，它目前的想法包括在其帳戶驗證中添加更多層以啟用語音克隆，例如要求用戶輸入支付信息或ID。它還在考慮讓用戶驗證他們想要克隆的聲音的版權所有權，例如讓他們提交帶有提示文本的樣本。最後，該公司正在考慮完全放棄其Voice Lab 工具，讓用戶提交必須手動驗證的語音克隆請求。

文字：編輯部