为什么我不能用爬虫抓取大众点评网了?

发布时间:2024-05-17 11:09 发布:上海旅游网

问题描述:

我用perl写了个crawler,抓其他网站都没有问题,前几天抓大众点评网也没有问题,但是今天一用发现不能抓了,想了一下,可能是user agent的问题,把user agent设置成"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)",成功的抓了两次,之后怎么改u a 都不能抓了,这是为什么?

问题解答:

我这里也是,谁知道?

热点新闻