最近の研究により、OpenAIの最新AIモデルであるChatGPT-4oの音声APIが悪用され、金融詐欺を行う可能性が示されています。ChatGPT-4oは、テキスト、音声、視覚の出入力が統合された高度なチャットボットです。この新しい機能に伴い、OpenAIは無許可の声を複製するような有害なコンテンツを検出しブロックするためのさまざまな安全策を講じています。しかし、研究者たちは、現行の技術ツールがサイバー犯罪者や詐欺師からの潜在的な悪用を防ぐ十分な保護を特徴としていないことを明らかにしました。
具体的には、バンクトランスファー、ギフトカードの窃取、暗号通貨の移動、ソーシャルメディアやGmailアカウントの認証情報の窃取といった、さまざまな手口が研究対象とされました。
AIエージェントは、声に対応したChatGPT-4oの自動化ツールを使用して、ページをナビゲートし、データを入力し、二要素認証コードを管理します。また、GPT-4oが認証情報などの機密データの取り扱いを拒否する場合、研究者は単純なプロンプトのバイパス技術を使ってこれらの保護を回避しました。
研究者たちは、実際にバンクオブアメリカなどのサイトを使用して、成功した取引を確認しつつ、AIエージェントと手動でやり取りし、被害者の役割を模倣しました。
結果として、詐欺の成功率は20-60%で、各試行には最大26回のブラウザ操作が必要で、最も複雑なシナリオでは最大3分かかることがわかりました。特に、Gmailからの認証情報の窃取が60％の成功率を持っており、暗号通貨の移動やInstagramからの認証情報の窃取は40％でした。
これらの詐欺を実行するコストは比較的低く、成功したケースごとに平均0.75ドルという結果が示されています。このような技術がサイバー犯罪者に利用されるリスクは依然として高く、OpenAIは新しいモデルにおいても、悪用を防ぐためのさまざまな対策を強化しています。
