AIモデルのベンチマーク企業Artificial Analysisは今週、軽量モデルV4-FlashのDeepSeekによる最新イテレーションのスコアを公表した。同モデルは金曜日に一般ベータ版として公開されたばかりだ。意外にも、中国の開発企業が提供する最安モデルは同社プラットフォームのIntelligence Indexで50点を獲得し、フラッグシップモデルであるDeepSeek V4 Pro-Previewを6点上回った。

DeepSeekは、米国の主要モデルと比べても依然として大幅に安価だ。米国の競合各社はここ数カ月、この差を埋めようと取り組んでおり、なかでもOpenAIは、自社の低価格モデルのリリースからわずか数日後に価格を80%引き下げた。それでも、入力トークン100万個あたり0.14ドル、出力トークン100万個あたり0.28ドルという価格設定により、DeepSeekのモデルは依然としてGPT-Lunaより60%安い。

Flashはいかにして知能面でPro-Previewを上回ったのか

DeepSeekが公開したアップデートログによると、Flashの最新バージョンは、今年4月に登場した前バージョンと基本的なアーキテクチャと規模が同じだという。

変わったのは、トレーニング後の改良だった。フラッグシップのV4-Pro-Preview APIがそのままである一方、Flash APIには大幅な刷新が施された。その結果、「エージェント機能が大幅に強化され、ベンチマーク結果はV4-Pro-Previewを大きく上回った」という。

エージェント機能はAIモデルにとって、ますます重要なベンチマークになっている。これは、AIモデルの能力が基本的なチャットボットの機能をはるかに超えて広がっていることを反映している。具体的には、コードの記述やテストなど、複雑で複数段階にわたるタスクに取り組むモデルの能力を指す。

AIベンチマーク企業のArtificial Analysisも、最新モデルに関するDeepSeekの調査結果を裏付けた。独立したテストでは、Flashはコマンドラインをモデルがどの程度うまく操作できるかを測定するテスト、Terminal-Bench 2.1で、前バージョンを17ポイント上回った。

GDPval-AA v2（金融、エンジニアリング、ヘルスケアなどの分野における現実世界の業務タスクをArtificial Analysisがテストするもの）では、モデルの評価スコアが1,189から1,559に上昇した。

これらの調査結果は、V4-Flashのエージェント能力が実際に大きく向上したことを示唆している。

DeepSeek V4-Flashが依然として劣る点

DeepSeekのモデルは大幅な改善を遂げたものの、市場のリーダーにはまだ遠く及ばない。AnthropicのClaude Opus 4.8は、DeepSeek自身が公開したすべてのベンチマークで依然として首位に立っている。一方、同じ中国の開発企業であるMoonshotは、Kimi K3モデルによってオープンウェイトモデルの分野で首位を維持している。

Artificial Analysisのレポートには、V4-Flashの幻覚率も、正答できなかった回答の84%と高いという警告が含まれていた。これは、正しい回答を提供できない場合、V4-Flashは回答を拒否するよりも、一般的に誤った回答をすることを選ぶという意味だ。ベンチマーク企業は、最新イテレーションが以前のバージョンよりも推測に基づく回答を生成する割合は低下したと指摘したが、それでも依然として高い水準にある。

もう1つの潜在的な欠点は、モデルが冗長なことだ。テスト中、Intelligence Indexの全テストシリーズを通じて、約2億600万個の出力トークンを生成したと報告されている。これは中央値の2倍を超えており、実際のモデル利用コストは、表示されている料金の数字から想定されるよりも高くなる可能性がある。