摘要 伴隨著科技的不斷發(fā)展，人類已經(jīng)邁向了信息化時代，互聯(lián)網(wǎng)也慢慢的走進(jìn)了千家萬戶。人們獲取信息的方式也變的越來越多樣化，計(jì)算機(jī)網(wǎng)絡(luò)給人類提供了一個巨大的信息交易平臺，人們可以通過電腦獲得任何自己想要的信息互聯(lián)網(wǎng)的快速發(fā)展必然會引起數(shù)據(jù)的快速膨脹，對于普通的用戶來說，如何才能快捷方便的從互聯(lián)網(wǎng)中獲取大數(shù)據(jù)量信息并且保存至本地成為一個急待解決的問題然而，分布式計(jì)算（俗稱云計(jì)算）這一詞漸漸的變得流行起來，短短幾年之內(nèi)幾乎影響了整個IT領(lǐng)域，正是由于分布式計(jì)算的到來，人們才漸漸的揭開大數(shù)據(jù)的面紗，許多海量數(shù)據(jù)信息的問題也得到了有效的解決，比如在本文中即將涉及到的舊的Web下載方式和海量數(shù)據(jù)存儲等問題正是由于云計(jì)算的到來才讓問題能夠得以徹底的解決。

     本文當(dāng)中主要通過分析了以往舊的Web下載方式的基礎(chǔ)上找出了舊的Web下載服務(wù)的不足，然后結(jié)合了開源的云計(jì)算平臺Hadoop設(shè)計(jì)了