消息关闭
    暂无新消息!
使用scarpy 
爬取美团商家信息,模仿手机端浏览出现问题
一些网站会自动重定向变成网页浏览
            例如这样:
            DEBUG: Redirecting (303) to <GET http://i.meituan.com/gc/i/deal/37950574.html> from <GET http://i.meituan.com/deal/37950574.html>  例如这样
            报错信息:  没有获取到值
             File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\item.py", line 59, in __getitem__
             return self._values[key]
             KeyError: 'Store_name'
            尝试解决办法:
            拒绝重定向,配置文件添加REDIRECT_ENABLED = False(失败)  凡是重定向网址,爬虫一概忽略
            尝试解决办法2:
            去重定向以后的页面,通过xpath获取元素(%90失败)
            只有一小部分可以通过xpath获取到值,大半部分无法获取
                   原因:获取的网站不完整(考虑是异步加载的问题)  使用PostMan可以获取完整的网页数据


            请问各位大神应该怎么做,异步加载我不会。。。 但我觉得就是异步加载的问题,获取不到完整的网页数据,xpath找不到想到的东西






0个回答

暂无回答!