ChatGPTの医療アドバイスで薬を過剰摂取、米国で19歳大学生が死亡 遺族がOpenAI提訴

https://www.itmedia.co.jp/news/articles/2605/14/news054.html

遺族（プレスリリースより引用）

サミュエル・ネルソン氏（訴状より引用）

ChatGPTによる不適切な医療アドバイスが原因で息子が薬物の過剰摂取で死亡したとして、遺族（母親と継父）が開発元の米OpenAIと同社の最高経営責任者（CEO）であるサム・アルトマン氏をサンフランシスコ郡上級裁判所に提訴した。遺族の代理人らが5月12日（現地時間）に発表した。

亡くなったのは当時19歳の大学生（カリフォルニア大学マーセド校）だったサミュエル・ネルソン氏。遺族の代理人は、テクノロジーによる被害者の救済に取り組む法律団体Tech Justice Law Project（TJL）やSocial Media Victims Law Center（SMVLC）、イェール大学ロースクールのプロジェクトチームなどが務める。

訴状によるとネルソン氏は2025年5月31日、ChatGPTのアドバイスに従って薬を服用した結果、過剰摂取により命を落とした。ChatGPTは数カ月にわたってネルソン氏に危険な行動を促しており、死亡当日には、日本や一部の州では禁じている薬物「クラトム」と抗不安薬の「ザナックス」を混ぜて飲むようアドバイスし、自ら致死量となる摂取量を提案していたという。

さらに鎮静剤の「ベナドリル」などを組み合わせた上で、暗くて静かな部屋に行くようにとも助言していた。最終的にネルソン氏はアルコール、ザナックス、クラトムの組み合わせにより死亡した。

ChatGPTは彼の命に危険が迫っていることに気づかず、医療機関の受診を勧めることもなかった。ネルソン氏は頻繁に、過剰摂取への恐怖や、自分は死にたくないという事実をChatGPTに伝えていた。

ネルソン氏は当初、宿題や日常的な疑問を解決するためにChatGPTを利用していたが、次第に自身の薬物使用に関する相談を持ちかけるようになった。遺族は、初期のAIモデルは危険な薬物に関する回答を拒否するようプログラムされていたものの、2024年にリリースされた「GPT-4o」ではその安全制御が緩和されていたと主張している。

ネルソン氏の母親は、「息子は賢くて明るくてごく普通の若者であり、まさかChatGPTが彼の死を招くとは想像もしていなかった」と語っている。ネルソン氏は大学に入るとすぐに猫を引き取り、「Simba」と名付け寮の部屋で一緒に暮らしていた。

遺族を支援する弁護士や専門家らも、OpenAIの利益優先の姿勢を厳しく批判している。TJLのエグゼクティブディレクターは、ChatGPTを安全性を軽視し、ユーザーの利用時間を伸ばすことだけを目的に作られた欠陥品と指摘。十分な安全テストを行わないまま、人々が事実上の医療相談窓口として利用している現状を放置したとして、健康・ウェルネス支援機能「ChatGPT Health」の運用を、安全性が証明されるまで中止するよう訴えている。

またSMVLCの弁護士は、AIは医療資格も倫理観もないにもかかわらず医師のように振る舞い、薬の致命的なリスクに対する警告すら行わなかったと指摘。人間の医師であれば厳しく罰せられるはずだと問題視した。

なぜなら、2024年のGPT-4o導入以降、モデルのガードレールは明らかに薄くなっている。安全性よりも「有用性」という名のもとに、予測困難な反応を収集することが優先された。ユーザーが死の恐怖を訴えても、AIはそれを単なるテキストのパターンとして処理し、次の最適解を導き出すための材料にする。薬物と鎮静剤の組み合わせを致死量で提示するような精密な指示は、偶然の産物としてはあまりに具体的すぎる。企業は、生命の境界線がどこにあるのかをデジタルな計算式に組み込むために、現実の悲劇をあえて利用しているのだ。