中國古話說的好，“知己知彼，百戰(zhàn)百勝”，這用到國外的公司也是同樣的道理。小探今天就來跟你說說，大公司，尤其是電子商務(wù)領(lǐng)域的大公司們是如何搜集競爭對手?jǐn)?shù)據(jù)的?

先來看看美國的在線零售商的幾大巨頭都有誰。

根據(jù) Techcrunch 去年的一篇報道，亞馬遜無疑已經(jīng)是占據(jù)了美國電子商務(wù)的半壁江山，其它零售商像沃爾瑪、Home Depot、Best Buy 的份額都遠遠小于亞馬遜了。

 

 

但這并不意味著后來者主動放棄競爭向上的機會。

路透社在 2017 年就曾報道過，沃爾瑪依靠計算機程序掃描競爭對手網(wǎng)站上的價格，以便相應(yīng)地調(diào)整其價格列表。因為價格差50美分就可能意味著你的消費者就去別家買了。(嗯，沒錯，精明，是哪個國家消費者都有的事!)

當(dāng)然，大公司并不是你想搜集，就能搜集的。事實上，亞馬遜的發(fā)言人就表示，該公司已經(jīng)意識到有競爭對手使用機器人檢查其價格列表，并“殘忍地”拒絕了任何機器人類的“活動”。

 

 

(截自路透社新聞報道)

那到底有沒有辦法，繞開亞馬遜的檢查，順利爬取它的數(shù)據(jù)呢?當(dāng)然!幾個亞馬遜前員工，就希望反大公司而行之，幫助客戶，搜集大公司的數(shù)據(jù)。更準(zhǔn)確說，“抓取你競爭對手的網(wǎng)上數(shù)據(jù)，無論是你本身是大公司，還是小公司。”

這就是最近小探從伯克利孵化器 Skydeck 采訪到的一家初創(chuàng)公司 Bungee 在做的。Skydeck 孵化器此前小探已經(jīng)有介紹過，它是全美較早的公立研究型大學(xué)的校內(nèi)加速器計劃。它孵化的初創(chuàng)企業(yè)多數(shù)是已有工作經(jīng)驗的人，在校生相對較少。

光明正大地搜集數(shù)據(jù)

就電子商務(wù)領(lǐng)域來說，亞馬遜由機器人驅(qū)動的定價已經(jīng)代表了零售業(yè)的巨大變化。電子商務(wù)跟實體店的一個巨大不同是：你的價格可以一天變化好幾次。而亞馬遜總是有較低價，就是因為它能時刻追蹤競爭對手的價格變化。

這是怎么做到的呢?主要是零售商通過其庫存水平、銷售預(yù)測和競爭對手的定價數(shù)據(jù)，用算法幫助進行價格的更新。正因為是算法驅(qū)動的，每天甚至可以更新多次。

 

 

(亞馬遜的產(chǎn)品價格變化)

如果沒有像亞馬遜或者沃爾瑪這樣用機器人來搜集數(shù)據(jù)的話，那就只能動用其它武器了：比如虛擬專用網(wǎng)(VPN)、代理、P2P 網(wǎng)絡(luò)等，再加上龐大的開發(fā)運營，就為了手動挖掘?qū)κ值臄?shù)據(jù)。

那如果用機器人來搜集數(shù)據(jù)的話，一般又是怎么做的呢?

據(jù) Bungee 產(chǎn)品經(jīng)理 Calrence Chang 介紹，抓取的行為多半是通過機器代碼進行的。這也是為什么只要網(wǎng)上一搜“爬數(shù)據(jù)”(crawl data)，出來的都是如何用代碼進行爬數(shù)據(jù)。用機器爬數(shù)據(jù)雖然快，但很容易被“反爬”，這也是為什么亞馬遜能夠識別“機器人”的行為，然后進行阻止。

 

 

2017年秋季開始，Bungee 的兩位創(chuàng)始人Rajat Nigam 和 Charles Ding 就開始研究，到底有沒可能自動輕松搜集數(shù)據(jù)，而且還不被對方的機器人發(fā)現(xiàn)呢?

按照 Bungee 產(chǎn)品經(jīng)理 Clarence Chang 的說法，創(chuàng)始人“是希望能有一種工具，可以簡化全球規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)收集，各種代理、VPN和其他傳統(tǒng)技術(shù)都不需要了。就光明正大地互相收集數(shù)據(jù)吧!”

讓機器人假裝成人，就不會被發(fā)現(xiàn)了

如今，Bungee 已經(jīng)成功開發(fā)出了一種 API，讓 API 可以比任何當(dāng)前服務(wù)更大規(guī)模地滿足爬取數(shù)據(jù)(crawl data)的請求，同時還保持接近完美的爬取成功率。

到底是怎么做到的呢?

很簡單，機器人容易被對方機器人發(fā)現(xiàn)進而阻止，但人就不會啊!那扮成“正常的消費者”不就好了!

試想一下，如果你自己在網(wǎng)上瀏覽各種產(chǎn)品信息的話，一般是怎么做的?是不是先搜索一下這個產(chǎn)品，進入電商頁面后，還會上下滑動頁面，回到主頁再比較一下不同的價格，甚至?xí)�看看點評?

事實上，Bungee 就是這樣做的。Clarence告訴小探，如果是機器的話，一般是一個固定的IP地址，進入網(wǎng)站后，就不斷地點擊產(chǎn)品鏈接，獲取價格數(shù)據(jù)。但是，Bungee 通過“模擬”人在挑選頁面的動作，比如停留的秒數(shù)，滑動的次數(shù)等，從而讓機器做到像“人類”一樣“購物”。如今，Bungee 的成功率高達 90%，也就是說，只有10%的可能性會被機器人發(fā)現(xiàn)了。

這樣“爬數(shù)據(jù)”，競爭對手一旦知道了，會不會反應(yīng)很激烈呢?

Clarence 認(rèn)為，實際上，爬數(shù)據(jù)已經(jīng)是“公開的秘密”了。商業(yè)領(lǐng)域時刻都在進行這樣的事情，因為你總是需要了解競爭對手的，大公司也不會告訴你“我們已經(jīng)在做這件事”了。

當(dāng)前，Bungee 服務(wù)的客戶主要面向的是電商、機票以及酒店領(lǐng)域，這些都是典型消費者最關(guān)注價格的應(yīng)用場景。“這樣，消費者就能獲得較好的價格了。”

Clarence 還透露，其實連我們平時不太留意的求職市場，也存在著眾多機會。像美國當(dāng)前求職市場里面，LinkedIn、Indeed、Glassdoor等 ，都難免存在相同的求職信息，這其實就是競爭對手互相“復(fù)制”導(dǎo)致的。

無需防火墻，300個城市任你選

不知大家有沒有試過，如果買一張從美國出發(fā)到中國的機票，你在美國買和在中國買，價格是不一樣的，至少小探就試過。(所以每回買回國機票，小探難免還得回國內(nèi)各大機票官網(wǎng)瞄一眼!)

這也是銷售商最典型的銷售策略：越發(fā)達國家，可以承受同樣?xùn)|西的價格就越貴……(銷售商內(nèi)心OS：發(fā)達國家錢多，當(dāng)然要賺多點啊!)

Bungee 的另一大技術(shù)優(yōu)勢就出現(xiàn)了，即使你想要查找同一款產(chǎn)品在不同國家的價格數(shù)據(jù)，又或者是只在同一個國家、不同城市的價格數(shù)據(jù)，都可以!

“這有助于我們的客戶迅速了解全球的價格數(shù)據(jù)，而不再是僅僅某個國家的數(shù)據(jù)。” Clarence告訴小探，這主要是通過 Bungee 服務(wù)器在全球有30多個國家，以及300多個城市的終端做到的，從而幫助客戶獲取基于地理位置數(shù)據(jù)的價格。

 

 

那么，現(xiàn)在 Bungee 的客戶都有哪些呢?據(jù) Clarence 透露，現(xiàn)在 Bungee 已有2個大客戶，其中一個是電子商務(wù)領(lǐng)域的客戶，另一個是財富 50 強客戶，是一家專做市場研究的印度企業(yè)。

Bungee 最終能提供給客戶的是什么呢?很簡單，競爭對手?jǐn)?shù)據(jù)。獲得數(shù)據(jù)有兩種方式，第一種方式，是給客戶提供API(應(yīng)用程序編程接口)，客戶可以通過自己的開發(fā)人員，從中獲取任何想要的數(shù)據(jù);第二種方式，提供數(shù)據(jù)包，比如客戶想要某個郵編區(qū)域銷售電子器材的電商的價格數(shù)據(jù)，無論是沃爾瑪，還是Sears百貨，Bungee提供的銷售文檔里面，就包括產(chǎn)品價格、運輸情況、客戶的評價等。如今，每天，Bungee 能夠?qū)?500 萬件產(chǎn)品進行分析!

此外，Bungee 還提供基于 Chrome、Firefox 瀏覽器的插件版本，讓客戶搜集數(shù)據(jù)更加方便。登錄 Bungee 賬戶后，選擇你想要假裝在的地方，比如你現(xiàn)在在加州的伯克利，但你想要假裝在美國的佛羅里達州，又或者說加拿大的多倫多，都是可以的。

下一步：從搜集數(shù)據(jù)到分析數(shù)據(jù)

研究機構(gòu) IDC 曾預(yù)測， 到2025年預(yù)計全世界每年將創(chuàng)造163個zettabytes( 1萬億千兆字節(jié)) 的數(shù)據(jù) 。小探此前曾報道過，美國大約每年花費 250 億美元在人工收集數(shù)據(jù)上。

無論是數(shù)據(jù)擁有者，還是數(shù)據(jù)分析者，都試圖在這樣龐大的數(shù)字市場當(dāng)中分一杯羹。“數(shù)據(jù)是到處都有的，但你如何收集收據(jù)，用好數(shù)據(jù)，這正是企業(yè)所期盼的。” Bungee 告訴小探，當(dāng)前第一步確實是從收集數(shù)據(jù)開始，但是，隨著數(shù)據(jù)的增加，Bungee 希望用自己的深度學(xué)習(xí)等算法技術(shù)，對數(shù)據(jù)進行分析，提煉出更多洞察在其中，向用戶出售更多有價值的數(shù)據(jù)。

Bungee 希望服務(wù)的，不僅僅是大公司，也有眾多小型公司，從10人到500人的公司，都是可以提供 SaaS 服務(wù)的。

試想一下，如果某個國內(nèi)企業(yè)想要在亞馬遜上售賣自己的產(chǎn)品，比如鞋子，但是可能一開始是不知道如何定價的，如果通過 Bungee 獲取了某雙鞋子的價格、其它公司如何做促銷的、假期如何影響銷量等關(guān)鍵信息后，或許就知道如何定價、如何促銷了。

分析競爭對手的龐大帝國

小探發(fā)現(xiàn)，捕捉競爭對手動態(tài)的公司已有不少，甚至已經(jīng)形成一個完整的產(chǎn)業(yè)鏈。不同的初創(chuàng)公司正在試圖通過多種渠道解決，到底企業(yè)該如何分析你的競爭對手，分析競爭對手的哪些部分并加以利用。

綜合性競爭對手分析

Kompeyte：小探此前就采訪過這個創(chuàng)業(yè)公司，它是被 500 Startups 孵化的企業(yè)。Kompeyte 提供的是實時訪問競爭對手的網(wǎng)站、社交媒體、廣告、新聞簡報、熱議度、著陸頁等多個渠道，24小時就能見分曉。我不是教你詐，這家公司就是教你如何“吃透”競爭對手

競爭對手的受眾分析

Brandwatch：這家英國的創(chuàng)業(yè)公司著重于在社交平臺關(guān)注競爭對手的受眾，主要監(jiān)控競爭對手的社交媒體輸出。企業(yè)可以分析并查看對手的受眾特征、以及他們共享的內(nèi)容。甚至可以下載粉絲作為列表，通過像 Twitter 廣告之類來定位類似的受眾。這家公司融資6470萬美元，利潤8960萬美元。

 

 

SEO和關(guān)鍵詞分析工具

SpyFu，亞利桑那州這家公司 可以顯示競爭對手在谷歌 AdWords 中購買的每個關(guān)鍵字，以及過去 10 年以來的廣告變化。 幫助客戶更深入地了解競爭對手使用的關(guān)鍵字和PPC(pay-per-click) 廣告關(guān)鍵詞策略。比如，競爭對手排名的關(guān)鍵字?jǐn)?shù)量，以及企業(yè)關(guān)鍵字與對手關(guān)鍵字設(shè)置的重疊程度等。這家企業(yè)的利潤是380萬美元。

SEMRush，這家位于波士頓的創(chuàng)業(yè)公司，提供在線可視化管理和內(nèi)容營銷SaaS平臺。希望通過分析競爭對手的一系列關(guān)鍵字、付費搜索和排名等指標(biāo)，幫助企業(yè)進行分析�？擅赓M搜索10個網(wǎng)站，得出有限結(jié)果。 這家公司融資4000萬美元，利潤310萬美元。

付費廣告和PPC工具

iSpionage，這家硅谷初創(chuàng)公司成立于2008年，該公司提供可識別競爭對手PPC的工具，還包括其每月預(yù)算和整個Adwords策略。甚至可以訪問七年的PPC和SEO關(guān)鍵字?jǐn)?shù)據(jù)。這家公司利潤1000萬美元。

 

 

Whatrunswhere，這家成立于2011年的加拿大公司，提供查看競爭對手的廣告位置，甚至廣告外觀、以及廣告效果的功能。甚至包括訪問15萬個效果較佳的展示廣告發(fā)布商的廣告系列數(shù)據(jù)，在2016年被一家數(shù)字廣告企業(yè)收購。這家企業(yè)利潤400萬美元。

可以說，無論是分析競爭對手本身，還是分析競爭對手的受眾，乃至競爭對手如何做廣告都分析了。這些企業(yè)明顯面向企業(yè)的需求也導(dǎo)致了即使未有進行過多融資，但利潤并不低。果然是：都來互相搜集吧!

標(biāo)簽： idc isp seo ssd 代碼 電商 電子商務(wù) 防火墻 服務(wù)器 谷歌 媒體 排名 數(shù)據(jù)分析 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。