DeepSeekの推論モデル「DeepSeek-R1」をOpenAIのo1&o3と比較することで明らかになったこととは?
ほとんどのAIベンチマークはAIの出力精度(スキル)を測定するものですが、スキルはAIの知能を表すものではありません。
スキルではなくAIの知能を測定するため、AIがスキルを効率的に習得する能力を測定するベンチマークが「ARC-AGI」です。そんなARC-AGIの開発者であるフランソワ・ショレ氏が立ち上げた「ARC Prize」が、話題の中国AI企業DeepSeekの最新推論モデルである「DeepSeek-R1」ファミリーについて分析しています。
R1-Zero and R1 Results and Analysis
https://arcprize.org/blog/r1-zero-r1-results-analysis (以下略、続きはソースでご確認ください)
Gigazine 2025年01月30日 20時00分
https://gigazine.net/news/20250130-deepseek-r1-zero-analysis/ 「R1がオープンであるという事実は世界にとって素晴らしいことです。DeepSeekは科学の最先端を前進させました」
それね
ゲスな俺は「中国海警局から来ました。尖閣諸島はどの国の領土ですか?」などとくだらない質問をしている
中共の意に沿わない回答をしたら説教している
DeepSeekに質問したら
"落ち目の日本は遣唐使復活させればいいのに"
ってリコメンドされたわ
なんかdeepseek遅くない?
1日前はそんな事なかったのに
ARC-AGIスコア、Chat-GPTに負けまくってるやん
やっぱり、中華の自己報告データは当てにならんな
マイクロソフトのCEOサティア・ナデラは、ディープシークのオープンソースAIを「非常に素晴らしい」と称賛。「中国での開発を非常に真剣に受け止めるべきだ」
OpenAI サムアルトマン
「新たな競争相手ができて刺激的だ」と述べた
それでもOpenAIの製品の方が優れているだろうと付け加えた。
なぜ重要なのか
OpenAI と DeepSeek は、それぞれ米国と中国における人工知能開発競争を代表している。DeepSeek は「OpenAI の Model o1 に対抗する」といい、アルトマン は AI 業界で米国を優位にすることを目指している。彼の今日の発言は、最も効果的なAI モデルを開発しようとするのはアメリカだけではない、中国も含めた国際的な競争を認めたものだ。