当前位置: 华文星空 > 财经

外贸用的爬虫软件是什么软件,可以推荐几款吗?

2021-07-20财经

这题我会——不仅会,还挺擅长的。

举个例子。

我的抓取结果

我以前是做珠宝首饰(Jewellery)的。 我以jewellery这一个单词出发,抓取了大约几亿条URL,最后整理成了183万的客户列表。

图:整理好的183万条客户数据

如果没记错的话,当年我抓取这些数据时,使用了8台服务器,耗时两个月完成的。

如果你要进行类似的抓取的话,我的建议是:

  • 关键词数量少一点,尽量控制在100万个关键词以内;
  • 抓取时间短一点,建议不超过一个月;
  • 我把这种通过海量关键词抓取Google得到的客户数据,称为「Master List」。

    对了,100万~200万的数量,能称为「海量」么?如果不能,就再加点吧。比如加到1000千万个关键词,如何?

    我的抓取速度

    2020年底,我想做睫毛了,于是以睫毛,准确地说是嫁接睫毛。于是我以eyelash extension这个词为出现点,进行了客户资料的抓取。

    这是我当时抓取速度的记录,你可以感受感受。

    图:我的抓取速度

    我的抓取数据都是按1秒多少条Google结果(URL)计。 如有必要,可以再快点。这与技术无关,只与钱有关。上面这种速度的抓取成本,也就几百元一个月而已。

    你要1秒钟抓取几百、几千Google结果,加钱就好,技术上不存在限制。

    我的抓取范围

    回到jewellery的例子。

    当时我在一家中型首饰企业上班,公司有大量老客户。于是我整理了近百个公司老客户的网址,拿去和那个183万的Jewellery Master List对比,发现90%的老客户都被包含在了list中。

    这意味着, Jewellery Master List不仅仅包含该企业90%的老客户,也包含整个jewellery行业90%的客户,因为该企业客户只是整个行业的子集。

    图:验证的过程和数据

    在这个验证过程中,购买这份Jewellery Master List资料的人,提供了35个目标客户网站,其中8个不符合要求——不是做珠宝首饰的网站。

    35个,有点少,他其实还想提供更多来验证资料,但又不想暴露自己的老客户。

    27个jewellery网站中,25个都包含在Master List中,命中率高达92.6%。

    再贪婪一点

    我知道,看着这些抓取结果、速度和范围,你已经流口水了。

    还有更流口水的—— 我能抓取1个行业90%的客户资料,就能抓取任何行业90%的客户资料。 上面不就已经提及到珠宝首饰、睫毛两个行业了么,哈哈哈哈。

    其实, 有了客户数据(Master List)只是第1步,接下来你应该考虑如何开发的问题——将客户数据变成真实的询盘和真金白银的订单。

    那我建议通过开发信来做,原因我就不讲了,给到几个对你有帮助的文章吧,方便你入门:

  • https:// zhuanlan.zhihu.com/p/34 4081876
  • https:// zhuanlan.zhihu.com/p/34 4088409
  • https://www. zhihu.com/zvideo/137040 0781984718849
  • 来看看掌握了我这套方法的人,开发客户是个什么样的感觉。

    图:学员说,客户多的忙不过来。

    感谢你读到这里。

    祝,发展!

    我是Master蔡浩,略懂外贸开发信和独立站。如果你觉得我回答对你有帮助,请「一键三连」(点赞、收藏、喜欢)~