だからこそ，Google よりも Amazon のほうが革命的なのだ [memo]

NY Timesが過去のアーカイブを含めてすべて無料化したわけだが、そのシステム的な移行措置として過去のスキャンしたTIFF画像をPDFに変換する必要があったのだ。TIFFのサイズは合わせて4TBという巨大さ。

これを行うのに次の構成をとったそうだ：PDF変換にiTextを用いる。変換するマシンはAWS上の100インスタンスをHadoopでMapReduce構成をとることで並列化した。これによりすべてのPDF変換（なんと成果物は1.5TB)が、24時間未満の時間で終了したのだ。そして作業をしたのは、一人のプログラマだけである。

だから言ったでしょ。もう時代は一人大規模サービスの時代なんですよ。そのためのインフラはちょっと工夫すれば、もう個人の手に入るんですよ。だからこそ、GoogleよりもAmazonのほうが革命的なのだ。

http://toshied.tumblr.com/post/39203439168