アプリ正答率「17%」@中国「ディープシーク」
1月
31日
29日、情報の信頼性を分析する米ニュースガードは中国新興企業「ディープシーク(深度求索)」の生成AI(人工知能)アプリを検証した結果、正答率が「17%」だったと発表しています。米オープンAIが開発した生成AIの基盤モデルに匹敵する性能を低コストで実現したとの主張が、ほころびを見せ始めているようです。
「ディープシーク」は、自社開発した生成AIの基盤モデルを搭載したアプリを公開。米アップルの米国のアプリストアで最近、無料アプリのダウンロード数で首位に立ち、話題となりました。
ニュースガードは、他の生成AIの回答精度を測るのに使ってきた300の質問を活用。結果は「30%」が誤りで、「53%」があいまいもしくは役に立たないものでした。「失敗率」は「83%」と、欧米競合アプリの平均(62%)より高くなっています。