2024/05/03

データ摩擦

前回の「グローバルデータの収集」で述べたように、19世紀に各国での気象観測が広がっていったが、気象観測の測定法や様式の統一が進まなかったため、当時の気象観測は国ごとに測定単位や観測時刻、観測手法が異なった。

そのため、他国と観測データを交換して利用しようとすると、通信網の接続や通信方法の調整だけでは済まなかった。自国の観測データと合わせて使うためには、観測データの形式や単位を変換して統一し、観測手法による違いを補正しなければならなかった。データは毎時、毎日各地から送られて増え続ける。当時、その変換や補正作業のための手間は膨大だったため、他国のデータ利用はあまり進まなかった。

気象予報ならば、1地点の観測の違いや誤差の影響は小さく、あっても一時的である(そのため、それらは通常無視された)。しかし、気候目的として使おうとすれば、それは偏差として蓄積されるため、誤差の補正が必須となる。これはエドワーズのいう「計算摩擦」だった。そして、そのための作業は、計算だけではなかった。測定器の変更や観測手法の変更、観測所の移転などがあれば、データの利用者はそれらによる影響を調べてから、値の補正を行わなければならなかった。

他国を含めた広域の観測データを利用可能にするための作業、移動と補正の困難さを、エドワーズは「データ摩擦」と呼んでいる。「グローバルデータの収集」のところで述べたレゾー・モンディアルのとりまとめを担った英国気象局長官ショー卿の嘆きの原因も、このデータ摩擦にあった。しかし、政府間組織でないIMO では、観測の手法や報告様式の国際的な統一は、なかなか進まなかった。取り決めをしても、無視する国も多かった。そのため、各地の観測データは残されたものの、ごく一部のとりまとめられたデータを除いて、その利用には大きな壁が残った。

国同士でのデータ交換時のデータ摩擦の概念図。なおデータ摩擦は、かつてはデータの変換・交換のあらゆる部分で必ず生じた。

20世紀になってパンチカードが出てくると、気象データはパンチカードに打ち込まれて、気候のとりまとめのための簡単な演算処理が行われるようになった。 ただし、日本では軍の一部を除いて、中央気象台(気象庁の前身)では費用の面からパンチカードは使われなかった。

さらに、観測所が増えてデータの観測期間が長くなってくると、その保管や移送が大きなデータ摩擦となった。今と異なってデータは電子化されておらず、ほとんどのデータは紙媒体やパンチカードだった。例えば、第二次世界大戦後、米国陸軍航空隊の気候学プログラムは、戦時中にドイツ領で観測された気象データを移送しようとしたが、そのパンチカードは700万枚からなり、重量が21トンもあった。

1960 年には、米国の国立気象記録センター(National Weather Records Center: NWRC)が保管した世界中の気象データのパンチカードは4億枚以上になり、年間4000万枚の割合で増えた。センターは、このままだと建物がデータの重量で倒壊することを懸念した。また毎時の定常的な観測に関するデータの収集や確認、保存などに必要な多大な手間やエネルギー、処理のコストも無視できなかった。これも一種のデータ摩擦である。

しかし、これらのパンチカードで保管されていたデータは、磁気テープが出てくるとそれに代替され、今ではそれらのデータはハードディスクや高密度の磁気テープに電子化されて収納されている。

また、コンピュータの出現は、データの変換や補正の作業によるデータ摩擦を大きく軽減した。しかし長い間、観測された値が報告されて最終的に保管されるまでのどこかで、人間の手で打ち込む作業が残っていた。人間が間に入る限り、手間やミスなどの「データ摩擦」は残った。観測装置から通信・保管まで全て電子化されるようになったのは近年になってからである。しかし、過去の観測データの電子化には、当時の観測状況の確認が必要になる。これはエドワーズのいう「インフラストラクチャの遡及」という作業である。

これらの膨大な手間をかけて、長年観測・収集されて電子化されてきたデータは、現在では過去の全球の気象データを物理法則に従って復元する「再解析」に、利用されている。これによって、過去100年程度のグローバルなさまざまな要素の気象データが格子点値として再現されている。

それは気候変動の監視にも利用されている。「わかるとは?」のところで、「気候変動をわかろうとする場合には、その前の気候がどうであったを知って、それと現在とを比較することが必要となる。」と述べた。多大な手間と費用をかけてデータ摩擦を乗り越えた、100年以上前から保管されてきた過去の気象データは、現在のグローバルな気候を監視する気候科学の重要な財産となっている。