搜索引擎爬蟲可以檢索你的一切信息，并提供給其他用戶訪問。只不過因?yàn)閞obots協(xié)議的存在，搜索引擎爬蟲對(duì)自己的檢索范圍做了限制，所以它是善意的爬蟲。

隨著電子商務(wù)行業(yè)的崛起，比價(jià)的需求使得爬蟲有了更大的市場(chǎng)，不過大家爬別人的同時(shí)，并不喜歡自己被爬。畢竟被抓數(shù)據(jù)會(huì)使得自己在競(jìng)爭(zhēng)中處于不利的位置，并且增加自身的服務(wù)器負(fù)擔(dān)，這無異于增大了運(yùn)維成本。所以大家都覺得：寧叫我爬天下人，休叫天下人爬我。于是又誕生了反爬蟲。

后來“大數(shù)據(jù)”來了，無數(shù)互聯(lián)網(wǎng)從業(yè)者從中嗅到了商機(jī)。但是這些人手上并沒有大數(shù)據(jù)，于是他們開始用爬蟲拼命地抓取互聯(lián)網(wǎng)上的數(shù)據(jù)，然后做幾個(gè)PPT，用他們手中的數(shù)據(jù)去融資。

龐大數(shù)據(jù)的需求進(jìn)一步激勵(lì)了爬蟲程序“野蠻成長”，這給整個(gè)互聯(lián)網(wǎng)帶來沉重的負(fù)擔(dān)。于是造成了“反爬蟲技術(shù)越強(qiáng)，就需要更多的爬蟲工程師”的循環(huán)……

某蟲(化名)是一家公司的爬蟲工程師，他這樣描述爬蟲工程師們的工作：“用蜜蜂來形容我們并不恰當(dāng)，因?yàn)檫@種‘勤勞’并不被人喜歡。一般公司也不會(huì)說自己有爬蟲團(tuán)隊(duì)。”

“雖然那些抓取的數(shù)據(jù)都是對(duì)外開放的，不存在侵犯隱私、網(wǎng)絡(luò)安全的問題，但那些服務(wù)器資源本來是為客戶服務(wù)，爬蟲作為不請(qǐng)自來、又吵又鬧的客人總是不受歡迎的，比起蜜蜂更像是蒼蠅，被到處驅(qū)趕。”

 

 

爬蟲工程師的工作

爬蟲最終目的是提供數(shù)據(jù)，爬蟲工程師要做的就是編寫一個(gè)程序，這個(gè)程序會(huì)自動(dòng)抓取并保存下獲得的信息。但與數(shù)據(jù)分析不一樣，爬蟲工程師一般來說是按照別人的需要去抓取數(shù)據(jù)，至于數(shù)據(jù)價(jià)值的挖掘就和他們沒什么關(guān)系了。

但這工作并不像看起來這么輕松，不光要設(shè)法繞過別人的反爬措施，還要對(duì)抓下來的數(shù)據(jù)通過技術(shù)手段辨別真?zhèn)�。并且別人的網(wǎng)站一旦改版更新，原有的爬蟲程序很可能就不管用了，必須得隨著別人的技術(shù)迭代不停地升級(jí)爬蟲程序，更不要說還有各個(gè)公司之間的爬蟲工程師們隔空“斗法”。

某蟲：“在論壇上聽到同行分享過這樣的故事：說的是他們與競(jìng)爭(zhēng)對(duì)手斗得難解難分，有一天對(duì)方在反爬蟲的代碼里寫下注釋：‘天天加班，老板給你加工資嗎?’工作組的成員才幡然醒悟。隨后經(jīng)過一系列的交流，雙方達(dá)成和解，當(dāng)然這一切都是瞞著老板的。大家坐一塊談攏之后，工作就變得容易了很多，都給對(duì)方留了后門，方便對(duì)方爬自己，反爬蟲的工作就變成了一個(gè)形式。最多就是在交流群里抱怨：‘你們?cè)L問頻率怎么這么高?’‘你怎么把接口給關(guān)了?’‘你們給的數(shù)據(jù)是不是有問題?’……”

現(xiàn)實(shí)中如果真能達(dá)成這樣的默契，那肯定是‘雙贏’的局面。雖然這個(gè)故事更多是逗趣的段子，但在爬蟲與反爬蟲的斗爭(zhēng)中，資源被無意義的浪費(fèi)卻是不爭(zhēng)的事實(shí)。

當(dāng)然，某蟲也從未擔(dān)心過自己會(huì)在未來某一天失去工作，對(duì)于公司來說，爬蟲工程師的意義卻依然十分重要，只是降低服務(wù)器負(fù)載這一點(diǎn)就足夠了。

爬蟲工程師眼中的數(shù)據(jù)

某蟲：“回想最初的自己，也是因?yàn)閷?duì)唯數(shù)據(jù)論深信不疑才投身到爬蟲工程師的行伍中的。跟現(xiàn)在流行大數(shù)據(jù)一樣，只不過這股風(fēng)吹到了社會(huì)大眾中去。在我看來，大數(shù)據(jù)的關(guān)鍵在于‘誰來用’，這比‘怎么用’更重要。”

爬蟲的最終目的是獲取數(shù)據(jù)，數(shù)據(jù)的用途按現(xiàn)在比較流行的說法大致有網(wǎng)絡(luò)輿情監(jiān)測(cè)、客戶全景畫像、競(jìng)爭(zhēng)對(duì)手分析、行業(yè)垂直搜索等，某蟲看來這還是沒跳脫傳統(tǒng)統(tǒng)計(jì)分析的范圍。

當(dāng)然這些和一個(gè)基層爬蟲工程師沒什么關(guān)系，搶票、刷榜、找資源之類的項(xiàng)目才是大多數(shù)初學(xué)者最容易也最喜歡上手的方向，而且這些小項(xiàng)目確實(shí)會(huì)帶來不小的成就感，但是熱情衰退之后就發(fā)現(xiàn)數(shù)據(jù)這東西遠(yuǎn)沒有自己想像的那么美好。

某蟲：“頭一次抓下來一些數(shù)據(jù)的時(shí)候，覺得自己太厲害了，像是自己洞悉了這個(gè)世界的所有秘密一樣。但隨著時(shí)間推移手里那些諸如招聘信息、某市租房信息、項(xiàng)目外包信息之類的數(shù)據(jù)漸漸塞滿了硬盤，到底也沒產(chǎn)生點(diǎn)經(jīng)濟(jì)價(jià)值，刪除吧也舍不得，畢竟費(fèi)了功夫的。”

“有次一個(gè)(女性)朋友發(fā)來消息說：我參加一個(gè)比賽，幫我投一下票。稍稍一分析那網(wǎng)站，好弱的反爬蟲意識(shí)，我樂了。惡趣味被激了起來，花了一會(huì)兒功夫用Python寫好代碼，多線程模擬投票刷起來。不多時(shí)，我朋友已經(jīng)攀升至第一名。”

“很早以前在論壇上看到‘互聯(lián)網(wǎng)上50%的流量都是爬蟲創(chuàng)造的’時(shí)我還不相信，覺得夸張了。爬蟲是有用，但也不能有這么多需求啊。

隨著網(wǎng)絡(luò)媒體的發(fā)展，各種明星、網(wǎng)站流量造假的情況被媒體披露出來，背后的產(chǎn)業(yè)鏈逐漸浮出水面。聯(lián)系自己的工作內(nèi)容想一想，現(xiàn)在反而覺得‘互聯(lián)網(wǎng)上50%的流量都是爬蟲創(chuàng)造的’確實(shí)夸張了，怎么可能這么少，說90%都是輕的。”

 

 

回頭看大數(shù)據(jù)

對(duì)于一般大眾來說，大數(shù)據(jù)紅利、數(shù)據(jù)價(jià)值化、信息化社會(huì)賦能這樣的詞匯顯得虛無縹緲，都是聽得多見得少。而從事數(shù)據(jù)采集的某蟲卻這樣描述：“技術(shù)到底只是技術(shù)，最后改變社會(huì)的，還是社會(huì)的行為主體自身。”

蟲：“早些時(shí)候，‘樂看免費(fèi)小說’APP就是利用爬蟲非法抓取正規(guī)網(wǎng)站的資源然后免費(fèi)提供給觀眾，再賺取廣告費(fèi)。一個(gè)月賺了20多萬，這向大家展示了爬蟲技術(shù)蘊(yùn)含的能量和反爬的重要性，當(dāng)然他們很快被抓了并且賠更多的錢。”①

“而現(xiàn)在AI技術(shù)的發(fā)展讓爬蟲的攻防戰(zhàn)有種山雨欲來風(fēng)滿樓的感覺，但談不上什么質(zhì)變，就目前來說其核心還是商業(yè)行為。

比如：抓取汽車之家論壇發(fā)言，對(duì)各種車型的車主做畫像;抓取天貓、京東、淘寶用戶評(píng)價(jià)，了解產(chǎn)品在消費(fèi)者心目中的形象;抓取58同城房產(chǎn)買賣信息，預(yù)估房?jī)r(jià)走勢(shì);抓取大眾點(diǎn)評(píng)、美團(tuán)網(wǎng)的用戶消費(fèi)信息了解周邊變化的口味。

這些歸結(jié)起來都是在描述一個(gè)群體的特征，針對(duì)性的做出決策，也就是客戶全景畫像。雖然在網(wǎng)絡(luò)爬蟲系統(tǒng)的支持下，很多非數(shù)據(jù)持有主體也可以對(duì)客戶相關(guān)信息進(jìn)行實(shí)時(shí)采集、監(jiān)測(cè)，從而發(fā)掘潛在商機(jī)和預(yù)估風(fēng)險(xiǎn)。但這并不足以像‘工業(yè)革命’一樣改變社會(huì)。”

“2008年谷歌推出谷歌流感趨勢(shì)(Google Flu Trends)時(shí)，業(yè)內(nèi)許多人都將其視為大數(shù)據(jù)淘汰傳統(tǒng)分析方式的一個(gè)標(biāo)志。然而隨后的豬流感出現(xiàn)完全沒有被它預(yù)告，反映的事實(shí)就是技術(shù)的進(jìn)步并沒有達(dá)到能改變社會(huì)的程度。很多人將現(xiàn)在的困境描述成數(shù)據(jù)非機(jī)構(gòu)化、數(shù)據(jù)孤島或是大‘薄’數(shù)據(jù)，我也十分認(rèn)同。

要解決這個(gè)問題，之前被經(jīng)常用來勸告‘技術(shù)宅’的那句‘多出去走走’興許就是藥方。

舉個(gè)例子：前段時(shí)間看到新聞，大數(shù)據(jù)+尋親幫助了很多失散的家庭找回了親人，成效顯著。但進(jìn)一步試想一下，如果政府部門的人口數(shù)據(jù)和醫(yī)院的數(shù)據(jù)都能相互‘多走動(dòng)’，那被拐賣的兒童有沒有可能在第一次進(jìn)醫(yī)院時(shí)就被找到呢?

也就是說，目前的大數(shù)據(jù)+尋親只是多了一種技術(shù)手段，而不是徹底顛覆了反拐賣模式。當(dāng)然技術(shù)的積累肯定是發(fā)展道路上必要過程，但是也可以看出，所謂數(shù)據(jù)厚度、結(jié)構(gòu)化的問題，還是只能交由社會(huì)來解決，技術(shù)始終只是為了促成了各個(gè)社會(huì)主體‘走到一起’。

所以我說，目前的大數(shù)據(jù)是‘誰來用’比‘怎么用’更關(guān)鍵。”

標(biāo)簽： 大數(shù)據(jù)行業(yè) 爬蟲工程師

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。