當前位置: 華文星空 > 財經

外貿用的爬蟲軟體是什麽軟體,可以推薦幾款嗎?

2021-07-20財經

這題我會——不僅會,還挺擅長的。

舉個例子。

我的抓取結果

我以前是做珠寶首飾(Jewellery)的。 我以jewellery這一個單詞出發,抓取了大約幾億條URL,最後整理成了183萬的客戶列表。

圖:整理好的183萬條客戶數據

如果沒記錯的話,當年我抓取這些數據時,使用了8台伺服器,耗時兩個月完成的。

如果你要進行類似的抓取的話,我的建議是:

  • 關鍵詞數量少一點,盡量控制在100萬個關鍵詞以內;
  • 抓取時間短一點,建議不超過一個月;
  • 我把這種透過海量關鍵詞抓取Google得到的客戶數據,稱為「Master List」。

    對了,100萬~200萬的數量,能稱為「海量」麽?如果不能,就再加點吧。比如加到1000千萬個關鍵詞,如何?

    我的抓取速度

    2020年底,我想做睫毛了,於是以睫毛,準確地說是嫁接睫毛。於是我以eyelash extension這個詞為出現點,進行了客戶資料的抓取。

    這是我當時抓取速度的記錄,你可以感受感受。

    圖:我的抓取速度

    我的抓取數據都是按1秒多少條Google結果(URL)計。 如有必要,可以再快點。這與技術無關,只與錢有關。上面這種速度的抓取成本,也就幾百元一個月而已。

    你要1秒鐘抓取幾百、幾千Google結果,加錢就好,技術上不存在限制。

    我的抓取範圍

    回到jewellery的例子。

    當時我在一家中型首飾企業上班,公司有大量老客戶。於是我整理了近百個公司老客戶的網址,拿去和那個183萬的Jewellery Master List對比,發現90%的老客戶都被包含在了list中。

    這意味著, Jewellery Master List不僅僅包含該企業90%的老客戶,也包含整個jewellery行業90%的客戶,因為該企業客戶只是整個行業的子集。

    圖:驗證的過程和數據

    在這個驗證過程中,購買這份Jewellery Master List資料的人,提供了35個目標客戶網站,其中8個不符合要求——不是做珠寶首飾的網站。

    35個,有點少,他其實還想提供更多來驗證資料,但又不想暴露自己的老客戶。

    27個jewellery網站中,25個都包含在Master List中,命中率高達92.6%。

    再貪婪一點

    我知道,看著這些抓取結果、速度和範圍,你已經流口水了。

    還有更流口水的—— 我能抓取1個行業90%的客戶資料,就能抓取任何行業90%的客戶資料。 上面不就已經提及到珠寶首飾、睫毛兩個行業了麽,哈哈哈哈。

    其實, 有了客戶數據(Master List)只是第1步,接下來你應該考慮如何開發的問題——將客戶數據變成真實的詢盤和真金白銀的訂單。

    那我建議透過開發信來做,原因我就不講了,給到幾個對你有幫助的文章吧,方便你入門:

  • https:// zhuanlan.zhihu.com/p/34 4081876
  • https:// zhuanlan.zhihu.com/p/34 4088409
  • https://www. zhihu.com/zvideo/137040 0781984718849
  • 來看看掌握了我這套方法的人,開發客戶是個什麽樣的感覺。

    圖:學員說,客戶多的忙不過來。

    感謝你讀到這裏。

    祝,發展!

    我是Master蔡浩,略懂外貿開發信和獨立站。如果你覺得我回答對你有幫助,請「一鍵三連」(點贊、收藏、喜歡)~