科学するAIはどこで失敗したのか。
Sakana AIが発表した「The AI Scientist-v2」は、仮説の生成から実験の設計・実行、データ分析、そして論文の執筆まで、研究の全工程をAIが担うとするプロジェクトである。その成果物はICLR 2025のワークショップで査読を通過したとされ、研究の自動化が現実のものとなったかのように広く報じられた。
だがSakana AIのこの主張は、再現性や実行可能性といった科学の根幹に関わる視点を欠いている。紹介する論文《AI Scientists Fail Without Strong Implementation Capability》は、このような「AIが研究をする」システムの妥当性を精査し、科学の形式だけを模倣した出力がいかに危ういかを実証的に論じている。
関連記事: Sakana AI の技術と誇張：AI 研究の信頼性を問う
AI Scientistとは何か
この論文では、AI Scientistという用語を単なる研究補助ツールとは明確に区別して定義している。AI Scientistは、研究課題を自律的に設定し、実験を設計・実行し、仮説を検証して新たな知識を生成する存在であり、人間が担ってきた科学的探究のプロセス全体を代替するものである。これはAlphaFoldのようなツールとは異なり、「研究を行う主体としてのAI」を意味している。
評価の観点と対象
筆者らは、AI Scientistが科学的に成立しているかを判断するために、以下の4点を評価軸として設定している：
- 構文的正しさ：コードに文法的誤りがないか
- 実行可能性：コードがエラーなく動作するか
- 再現性：記載された結果が再現できるか
- 結論の妥当性：主張が結果と整合しているか
これらを基準に、The AI Scientist-v2を含む5つのAI Scientistシステムが出力した28本の論文を対象に評価が行われた。
論文は書けても実験はできない
結論から言えば、すべての論文において再現性が確認できなかった。The AI Scientist-v2の論文も例外ではなく、コードは動作せず、記載された実験結果は再現されなかった。グラフも出力されず、そもそもデータ処理が最後まで通らないものすら含まれていた。
コード生成においては文法的には正しい出力が多かったが、環境構築、依存ライブラリ、データ処理の整合性といった実装の要となる部分での破綻が目立つ。つまり、「動くように見えるコード」は書けても、「動くコード」は生成できないのである。
科学として成立していない出力
再現できないというだけではない。査読モデルDeepReviewer-14Bによる評価では、28本中すべての論文において、実験設計の弱さ、方法論の不明瞭さ、理論的貢献の欠如といった問題が指摘されている。The AI Scientist-v2も含め、実質的に科学として成立していないと評価された。
論文としての体裁は整っており、主張も流暢だが、それを支えるデータと分析が不十分である。科学的議論に必要な「問いと証拠の往復運動」が行われておらず、研究としての意味が成立していない。
科学の制度が偽情報の通路になるとき
このような論文が査読を通過したこと自体が、本論文で問題視されている。科学的価値を査読制度が保証するという前提が、形式だけ整えられた情報を「科学として認定してしまう」温床になりかねない。AIが自動で論文を量産する時代にあって、制度が形式主義に流れれば、「科学風」偽情報は加速度的に拡散されうる。
重要なのは、The AI Scientist-v2の出力がそうした構造に乗ってしまっている点である。それはもはや技術的な問題ではなく、科学という制度の情報的脆弱性の露呈に他ならない。
「過去のAI論文生成」と本質は変わらない
AIが論文を書いて査読を通過したという話はこれまでも散発的に報じられてきたが、それらは執筆補助にとどまるか、あるいは査読制度をからかうための風刺的実験に過ぎなかった。
Sakana AIのThe AI Scientist-v2が異なるのは、それを正式な科学的成果として主張したという点にある。しかし、本論文が示しているように、実行不能で再現もできず、主張に根拠が伴っていないという点では、本質的に過去の自動論文生成と何ら変わらない。違うのは、その「見せ方」と「主張の強さ」だけだ。
科学と偽情報の境界が自動化で失われる
AIが科学を模倣する能力を持ったことは明らかだ。しかし模倣はあくまで模倣であり、それが「科学」であるかどうかは再現性と検証可能性によって決まる。Sakana AIのように、それを科学であるかのように提示し、制度がそれを通してしまえば、それは「科学の姿をした偽情報」になる。
そして、それが制度的に受け入れられたとき、科学と偽情報の境界は曖昧になる。AIが科学的情報の「形式的正しさ」を再現できるようになった今、その信頼性を担保する基準は、形式ではなく検証に基づいて再構築されなければならない。
コメント
Great write-up, I am normal visitor of one’s web site, maintain up the excellent operate, and It’s going to be a regular visitor for a lengthy time.
Hello! Do you use Twitter? I’d like to follow you if that would be ok. I’m definitely enjoying your blog and look forward to new updates.
I have been absent for some time, but now I remember why I used to love this site. Thank you, I’ll try and check back more often. How frequently you update your web site?
I truly appreciate this post. I?¦ve been looking everywhere for this! Thank goodness I found it on Bing. You have made my day! Thx again
There’s definately a great deal to know about this issue.
I really like all the points you have made.
What¦s Going down i am new to this, I stumbled upon this I’ve discovered It absolutely helpful and it has helped me out loads. I am hoping to contribute & help different customers like its helped me. Great job.
Terrific work! This is the type of information that should be shared around the web. Shame on Google for not positioning this post higher! Come on over and visit my website . Thanks =)
Lovely blog! I am loving it!! Will come back again. I am bookmarking your feeds also
Today, I went to the beach front with my kids. I found a sea shell and gave it to my 4 year old daughter and said “You can hear the ocean if you put this to your ear.” She placed the shell to her ear and screamed. There was a hermit crab inside and it pinched her ear. She never wants to go back! LoL I know this is entirely off topic but I had to tell someone!
obviously like your web site but you need to check the spelling on several of your posts. A number of them are rife with spelling problems and I find it very troublesome to tell the truth nevertheless I will definitely come back again.
Im Gegensatz dazu wird bei kostenlosen Spielautomaten kein echtes Geld
eingesetzt, sondern virtuelle Credits, die keinen realen Wert haben.
Kostenlose Spielautomaten ohne Anmeldung sind Spiele in Online Casinos, bei denen die Spieler Slots spielen können, ohne persönliche Daten angeben oder ein Konto eröffnen zu müssen. Wir möchten diesen Abschnitt den Studios widmen,
die hinter der Entwicklung von kostenlosen Online Casino Spielautomaten stehen. Dieser Abschnitt richtet sich an alle, die sich nicht auf Empfehlungen oder Meinungen Dritter verlassen wollen und
die besten kostenlosen Online Spielautomaten selbst aufspüren wollen. Genau wegen dieser unkalkulierbaren Mischung aus Chaos und Spektakel habe ich mich entschlossen, dir
diesen Spielautomaten zum kostenlosen Spielen vorzustellen.”
Teste hier die Slots kostenlos aus, die in Österreich in den letzten drei Monaten am häufigsten gespielt wurden. Bei uns finden Sie alle klassischen Casino Spiele kostenlos sowie regelmäßig Neuerscheinungen von Merkur,
Novomatic, Pragmatic Play und vielen weiteren Spiele Herstellern. Deshalb sind kostenlose Casino Spiele
so wichtig. Hunderte Games warten darauf, von dir entdeckt zu werden, und viele von ihnen ermöglichen Freispiele oder andere spannende Features.
Neuer Titel mit klassischem Gold Thema und Bonus Features wie Freispiele und Multiplikatoren. Beim Start der
Freispiele bringen Super Scatter sofort 100x bis 50.000x und pushen die Spannung
spürbar.
Die Vorteile der kostenlosen Casino Spiele liegen auf der Hand, doch
gibt es auch Nachteile? Unsere kostenlosen Slots
sind ideal, um neue Spiele auszuprobieren oder
Klassiker wie Book of Ra und Eye of Horus neu zu erleben. Wenn Sie die Bonusbedingungen erfüllen, können Sie sich Gewinne aus
diesen Spielen auszahlen lassen – oder Sie spielen damit im Online Casino weiter.
So können Sie ohne Einzahlung um echtes Geld spielen. Casino Software Studios spielen eine entscheidende Rolle, wenn es
um die Qualität von Casinospielen geht.
References:
https://online-spielhallen.de/ihr-umfassender-leitfaden-zum-spinanga-casino-bonus-code/
ThunderPick offers a unique and intuitive user interface, making navigation seamless for bettors and players alike.
The robust loyalty program rewards players with exclusive benefits, enhancing their overall experience.
The casino boasts over 4000 pokies and utilizes Evolution Gaming for its live casino rooms.
Yes, online casinos are regulated and must be licensed
to serve Australians legally. The online casino scene in Australia is booming, with
trends shaping how players engage in 2025.
Many best online casinos like King Johnnie let
you mix and match. For a real casino vibe, live dealer games are unbeatable.
The top Australian online casino sites on this page all passes these tests.Games with the highest RTP, such as blackjack, baccarat,
certain pokies, and some video poker variations,
increase your chances of walking away a winner.
Expect tighter regulations but more innovation in safe internet casinos AU.Yes, online casinos are regulated and must be
licensed to serve Australians legally.
Unfortunately, you won’t play NetEnt games in Australia.
You will discover table games, blackjack, poker,
live dealer games, and sometimes even cryptogames as well as tournaments.
But of course, there is a wide genre of gambling entertainment that can be found on Australian casinos.
Australians are known for their love of pokies and table games.
Gambling online isn’t the same without
a generous bonus on 1st deposit.
References:
https://blackcoin.co/ggbet-casino/
You can review your choices and withdraw your consent at
any time by clicking the ’Privacy Preferences’ link in the page side navigation. Finding a great place to stay in Melbourne near Crown Casino is easy with momondo.
Momondo compares hundreds of websites and gives you all your Melbourne near Crown Casino hotels and
accommodation options in one place.
An easy day trip from Melbourne, Victoria’s coastal region is located
within reach of Crowne Plaza guests with day tours and shuttles running regularly from the Melbourne CBD.
A short walk from our hotel, Southbank features some of the city’s
most popular bars and eateries. Providing a unique and immersive experience, Melbourne Zoo is home to over 320 species from around the world.
If you’d like to explore something more upbeat, Melbourne
has all the best attractions and experiences to get your heart racing.
Melbourne is the perfect destination for a fun-filled family holiday, romantic
getaway, business trip, or weekend escape. For more information on applying for Jobs
and how to set up Job Alerts, please visit our FAQ
page.
References:
https://blackcoin.co/online-slots/
online pokies paypal
References:
ofertyroboty.pl
online casino usa paypal
References:
https://taradmai.com/profile/nicholearcher1
Admiring the commitment you put into your blog and detailed information you provide. It’s good to come across a blog every once in a while that isn’t the same outdated rehashed information. Wonderful read! I’ve bookmarked your site and I’m including your RSS feeds to my Google account.
online pokies paypal
References:
https://australiaremotejob.com/employer/best-new-online-casinos-australia-2025-recently-launched/
online casinos paypal
References:
https://rentry.co/68989-best-australian-betting-sites–apps-updated-december-2025
I genuinely enjoy reading through on this site, it contains superb content.
paypal casino canada
References:
https://mapnova.com.co/employer/online-casinos-that-accept-paypal
online american casinos that accept paypal
References:
10xhire.io
References:
Women before and after anavar
References:
https://zenwriting.net/caseleo5/anavar-erfahrungen-and-zyklus-anavar-frauen-steroid-2026
References:
Paddy power slots
References:
https://www.exchangle.com/
References:
Test and anavar before and after pics
References:
https://intensedebate.com/
References:
Gala casino london
References:
https://cloudyapple8.bravejournal.net/
when to take winstrol
References:
https://saveyoursite.date
it is usually permanent.
References:
telegra.ph
how steroids are taken
References:
moparwiki.win
weight loss steroids for females
References:
https://urlscan.io/
Hey, you used to write magnificent, but the last several posts have been kinda boring?K I miss your super writings. Past several posts are just a little out of track! come on!
References:
Test prop anavar cycle before and after
References:
lovebookmark.win
get legal steroids
References:
linkvault.win
weight gain steroids
References:
yogaasanas.science