はじめての調香 · 101
前回の表をもう一度直す：純度欄の記入率は64.5%ではなく10.5%だった
· 7 分
第100回で30の欄の記入率を並べ、「見かけ100%、実際は12%以下」の欄を4つ摘出した。今回は同じ走査を全欄に広げた結果、自分のあの表の1マスを直すことになった。純度欄を64.5%と報告したが、その27,221件のうち22,771件が同一の文字列「95.00 to 100.00」である——83.7%だ。差し引くと本当に情報のあるのは4,450件、10.5%になる。しかもその既定値はマイナーさとほぼ完全に結びついている。サプライヤー0社の記録では97.5%が既定値、10社以上では26.5%にすぎない。さらに徹底した空もある。chembl 欄には5,831件の値があり、その5,831件すべてが「View」だ——ウェブページのボタンの文字であって、データではない。
読了目安 4 分。
第100回で30の欄の記入率を並べ、プレースホルダを持つ4つの欄を摘出した。その後、同じ走査をすべての欄に走らせたところ、自分のあの表の1マスが誤りだと分かった。
純度欄
報告したのは 64.5%（27,221件に値あり）だった。
**だがその27,221件のうち22,771件が同一の文字列「95.00 to 100.00」である。**83.7%を占める。
| assay の値 | 件数 |
|---|---|
| 95.00 to 100.00 | 22,771 |
| 99.00 to 100.00 | 1,084 |
| 98.00 to 100.00 | 1,005 |
| 97.00 to 100.00 | 647 |
| 96.00 to 100.00 | 331 |
その既定値を差し引くと、本当に情報があるのは4,450件——全庫の10.5%だ。
第100回では6位に置いたが、本来は18位あたりが正しい。
そしてその既定値には規則がある
それは「その材料を誰かが売っているか」とほぼ完全に結びついている。
| assay を持つ件数 | うち既定値 | |
|---|---|---|
| サプライヤー0社 | 13,382 | 97.5% |
| 天然と表記 | 12,998 | 88.0% |
| 合成と表記 | 633 | 56.6% |
| サプライヤー10社以上 | 2,091 | 26.5% |
売られている材料は4分の3が本当の純度規格を持ち、売られていないものは40分の39が定型である。
（天然物の88%が既定値なのも理にかなう——天然抽出物に「純度」は無い。あの欄はもともと意味を持たない。）
**だから純度欄の正しい読み方は、まずサプライヤー数を見ることだ。**サプライヤーの多い群では規格であり、0社の群では埋め草である。
2つめの空：欄にボタンの文字が入っている
これは第100回でまったく見落としていた。
| 欄 | 値あり | 最も多い値 | 割合 |
|---|---|---|---|
| chembl | 5,831 | 「View」 | 100.0% |
| chebi | 4,638 | 「View」 | 100.0% |
| fda_unii | 30,358 | 「Search」 | 65.0% |
| hmdb | 23,589 | 「Search」 | 68.8% |
chembl と chebi の2欄は、どの記録も「View」である。
ウェブページを取り込むとき、リンクの指す番号ではなくリンクの文字を拾ってしまったのだろう。「View」はボタンであって識別子ではない。
fda_unii と hmdb は混在している——3分の1が本物の識別子、3分の2が「Search」だ。
対照：kegg、foodb、nikkaji、beilstein、mdl はいずれも最頻値の出現が24回以下——あれらは本物の識別子である。
3つめ：欄全体に答えが1つしかない
| 欄 | 値 | 件数 | 割合 |
|---|---|---|---|
| fcc_listed | 「No」 | 41,753 | 98.9% |
| 「Yes」 | 472 | 1.1% |
**真偽の欄で、98.9%が同じ答え。**壊れてはいないが、ほとんど情報を持たない——探しているものがまさにその472件でない限りは。
修正後の表
| 欄 | 見かけの記入率 | 定型を差し引くと |
|---|---|---|
| notes | 100.0% | 20.9% |
| toxicity_oral | 100.0% | 12.3% |
| toxicity_dermal | 100.0% | 6.2% |
| toxicity_inhalation | 100.0% | 1.7% |
| assay | 64.5% | 10.5% |
| fda_unii | 71.9% | 25.1% |
| hmdb | 55.9% | 17.4% |
| chembl | 13.8% | 0.0% |
| chebi | 11.0% | 0.0% |
| fcc_listed | 100.0% | 1.1% |
| occurrence | 100.0% | 51.4% |
| formula | 51.9% | 51.2% |
最後の行は対照だ：formula は「unspecified」が295件しかなく、差し引いてもほとんど動かない。すべての欄がこの問題を抱えているわけではない。
「埋めたのに空」の3つの形
- プレースホルダ——
Not determined、None found。無いと明言している。 - 既定の定型——「95.00 to 100.00」。数字に見え、しかも妥当な数字だ。これが最も危険。
- 取り違えた画面の文字——
View、Search。数字ですらない。
2つめが最も見つけにくい。形の検査をすべて通過するからだ：正当な区間であり、順序も正しく、値も物理的な範囲にある。化学を知らなくてもできる3つの検査はどれもこれを捕まえられない。
捕まえる方法は1つしかない。その欄に異なる値がいくつあるかを数えることだ。
実務として
- **欄の記入率を引用する前に、異なる値を数える。**最頻値が8割を占めるなら、その記入率は嘘だ。
- 純度欄はサプライヤー数と併せて読む。
chemblとchebiは無視してよい。- この走査は安い——
GROUP BY1つで終わり、しかも私が100本のあいだ見落としていたものを拾った。
この記事が立証していないこと
- **走査したのは「45文字以内、200回以上」の文字列だけだ。**より長い定型は拾えない。
- **「95.00 to 100.00 が既定値」は推論である。**本当に2万余の材料の規格がたまたまこの区間である可能性はある——だがサプライヤー0社が97.5%という事実がそれを信じさせない。
- このデータベースの出所サイトは確認していないので、「View は取り違えたボタンの文字」は模様からの推論である。
- **修正後の記入率も「定型でない」であって「正しい」ではない。**本当の数字が入っていることと、その数字が合っていることは別だ。
- これは2026年9月時点のスナップショットである。