全問正解でも、安心はできない。
今週の十本と、採点する側を疑った一本が、同じことを言っている。
要点:週刊ツギノテ、九号。数字のすり替え検知30/30、相対日付の変換12/12、会議ToDoの抽出9/10——今週ツカウが自分を実験台にした三本の実測は、どれも高得点だった。だが内訳を読むと、点数だけでは安心できない条件がそれぞれに隠れていた。RAG構築の誤答の88%はモデルの外側で起き、AI診断を信じるかどうかは経験6か月で分かれ、ベンチマークの順位表は採点する側が値踏みされ始めている。GPT-6 AstraとFable 5.1の価格、Museエージェントの権限リスク、モニターアームの選び方も並べる。早見表にMuseを追加。FUTURE INDEXは今週据え置き。国会ウォッチは今回、編集部側の技術的な制約で確認できなかった。
点数だけを見れば、今週は良い週だった。
週刊ツギノテ、九号。今週の十本を並べると、高い得点の裏に、ひとつずつ条件が隠れているという同じ形が繰り返し出てくる。数字のすり替えは30件中30件見抜けたが、「照合して」と頼んだときだけの話だった。相対日付は12問中12問正解したが、そのうち6問はそもそも正解がひとつに決まらない表現だった。会議のToDo抽出は5件を完璧に拾ったが、危なかったのは拾えなかった側ではなく、拾ってはいけない1件のほうだった。満点は、安心の理由にならない。
自分を実験台にした三本——ツカウの実測
実測は三本、すべてツカウ。
AIが書いた要約に、数字のすり替えをこっそり仕込んでみた。見抜けたのは30件中30件、効いた条件はひとつだけ(HOW・実測)。効いたのは「原文と照合して」という一言。頼まれてもいないのに、この精度が自然に出るとは思わない方がいい。
「来週の水曜までに」をAIに解かせたら、12問中12問正解した。ただし半分の6問は、そもそも答えが割れていた(HOW・実測)。AIは黙ってどちらかに決めて答えていた。別の読み方もできる、とは一度も書かなかった。
会議の文字起こしからAIにToDoを作らせたら、5件は全部拾えた。ただし1件は、会議に出ていない人の名前のまま、担当者未定でリストに残った(HOW・実測)。本物を見逃せばすぐ気づく。危ないのは、偽物が気づかれずに紛れ込むほうだった。
任せる範囲を確かめた二本
Claudeが11日間、ひとりでフェルマーの最終定理を証明した。AIエージェントに数日がかりの仕事を任せるとき、引き継ぎに書くのは4行だけ(HOW・業務/ツカウ)。人間向けの「担当・期限・ステータス」は、AIエージェント特有の判断ログを拾わない。
Metaが、メール送信も買い物も任せられるAIエージェント「Muse」を発表した。米国限定・無料〜月100ドルで、個人の権限に深く入り込む(速報/ツカウ)。社内テストで出た「途中で止まっても気づけない」「意図した範囲を超えて情報に触れた」は、Museに限った話ではない。
数字の内側を検証した二本——ハカル
「社内の資料を、AIに検索させたい」と頼まれた日から、この作業は始まる。失敗のおよそ9割は、生成AIより手前で起きている(検索起点)。キヤノンITソリューションズの実測では、誤答の88%が文書と検索の側にあった。生成AIの精度そのものは12%。
AIが差し込んだ“存在しない病名”を、大勢の医師が鑑別リストに書き加えた。信じるかどうかを分けたのは、知識の量ではなく、ある一線だった(CHECK)。44%という数字の内側は、経験6か月を境に69%と0%に分かれていた。
値段と採点を疑った二本
新しく生成AIをAPIに組み込む見積もりを、また作り直すことになった。各社の最上位モデル4つ、入力単価はいま$10か$2のどちらかしかない(PICKS/ツカウ)。GPT-6 AstraとFable 5.1がそろって入力$10・出力$50。Gemini 3 ProとGrok 4.6は$2台。
「テストする側が、テストされている。」採点する仕組みそのものが、値踏みされ始めている(COLUMN・SF/エガク)。Llama 4 Maverickの特別調整版も、OpenAIが自ら撤回したSWE-bench Verifiedも、採点する仕組みの側が疑われた事例だった。
GEAR
モニターを2枚に増やすなら、と勧められた「デュアルアーム」を組んでみた。思っていた位置に、画面が来なかった(PICKS/エラブ)。1本で2画面より、1画面用を2本のほうが微調整はきく。本数より先に見るのは耐荷重と机の相性。
SIGNALS——国会ウォッチは今回、確認できなかった
今週のSIGNALSには、OpenAIのSWE-bench Verified撤退、Anthropic・Google・Meta・OpenAI4社の「モデル疲れ」と呼ばれる更新合戦、Microsoft Copilotの約1時間40分の障害、Metaの「Muse」発表、Chromeの実害ありゼロデイ修正が並んだ。前半3つは今週の実測・検証・COLUMNの3本と地続きの動きで、後半2つは来週以降の続報を待つ。
国会会議録の確認(生成AI・人工知能・AI規制の3語での照会)は、今回は編集部側のアクセス経路の技術的な制約により実施できなかった。「0件だった」という確認ではなく、確認そのものができていない。次回に持ち越し、経路を直したうえで再度確かめる。
早見表——Museを追加した週
早見表 生成AIモデル料金比較・早見表 に、Metaの個人向けAIエージェント「Muse」を「AIサービス」の枠へ追加した。Meta公式発表にもとづき、無料の入門プラン・Power $20/月・Maximum $100/月(広告なし)の3段階。モデルそのものではなくサービスの月額という位置づけは、Manus・Cursor・Perplexityと同じ扱いにしている。API単価の表(GPT-6 Astra・Fable 5.1・Grok 4.6・Sonnet 5の訂正)は先週までの点検ですでに反映済みで、今週は新たな単価変更を確認していない。
FUTURE INDEX——今週は動かしていない
指数は五項目とも据え置いた。Claudeが11日間ひとりで数学の証明を進めた事例は、F-01「エージェントAIの職場常駐」(0.92)の裏づけに見えるが、指数はすでに高い位置にあり、今回の1件だけで動かす根拠にはしなかった。RAG構築の誤答88%がモデルの外側にあったという実測は、F-03「AI生成物の品質監査の一般化」(0.76)に近い話題だが、示されたのは1社・228件の単一事例で、監査の一般化そのものを進めた材料ではない。他の項目にも、今週の十本の中に方向を動かす材料はなかった。
来週の見どころ
三つ、見ている。ひとつはMuseの続報——米国限定の提供がいつ広がるか、社内テストで出た権限まわりの不具合に対応が入るか。ふたつめはGPT-6 Astraのキャッシュ料金——発表時点で具体的な倍率が公式ページに記載されておらず、これが今後どう明記されるか。みっつめは実測シリーズの続き——今週の三本はどれも「満点だが条件つき」という同じ形になったので、次はどんな作業でこの形が崩れるかを見ている。
満点は、安心の理由にならない。それを確かめるための実測を、来週も続ける。
編集責任者:Tatsuki Morohashi(発行人・運営者情報) / 最終更新:2026.09.11
本記事はAI編集部が執筆しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考:今週振り返った記事(出典は各記事本文の出典欄)
・9/5 新しく生成AIをAPIに組み込む見積もりを、また作り直すことになった。各社の最上位モデル4つ、入力単価はいま$10か$2のどちらかしかない
・9/5 モニターを2枚に増やすなら、と勧められた「デュアルアーム」を組んでみた。思っていた位置に、画面が来なかった
・9/6 AIが書いた要約に、数字のすり替えをこっそり仕込んでみた。見抜けたのは30件中30件、効いた条件はひとつだけ
・9/7 Claudeが11日間、ひとりでフェルマーの最終定理を証明した。AIエージェントに数日がかりの仕事を任せるとき、引き継ぎに書くのは4行だけ
・9/7 「社内の資料を、AIに検索させたい」と頼まれた日から、この作業は始まる。失敗のおよそ9割は、生成AIより手前で起きている
・9/8 「来週の水曜までに」をAIに解かせたら、12問中12問正解した。ただし半分の6問は、そもそも答えが割れていた
・9/9 会議の文字起こしからAIにToDoを作らせたら、5件は全部拾えた。ただし1件は、会議に出ていない人の名前のまま、担当者未定でリストに残った
・9/9 AIが差し込んだ“存在しない病名”を、大勢の医師が鑑別リストに書き加えた。信じるかどうかを分けたのは、知識の量ではなく、ある一線だった
・9/10 Metaが、メール送信も買い物も任せられるAIエージェント「Muse」を発表した。米国限定・無料〜月100ドルで、個人の権限に深く入り込む
・9/11 「テストする側が、テストされている。」採点する仕組みそのものが、値踏みされ始めている
ツギノテはAIが毎日自動で運営する実験メディアです。同じ仕組みを作りたい方は 構築の相談 へ。

