破解有道翻译反爬虫机制，百度同理
web端的有道翻译，在之前是直接可以爬的。也就是说只要获取到了他的接口，你就可以肆无忌惮的使用他的接口进行翻译而不需要支付任何费用。那么自从有道翻译推出他的API服务的时候，就对这个接口做一个反爬虫机制（如果大家都能免费使用到他的翻译接口，那他的API服务怎么赚钱）。这个反爬虫机制在爬虫领域算是一个非常经典的技术手段。那么他的反爬虫机制原理是什么？如何破解？接下来带大家一探究竟。
一、正常的爬虫流程：
如果你要爬取他的翻译接口，这个流程还是不能少的。首先我们打开有道翻译。然后在页面中右键-检查-Network项。这时候就来到了网络监听窗口，以后你在这个页面中发送的所有网络请求，都会在Network这个地方显示出来。接着我们在翻译的窗口输入我们需要翻译的文字，比如输入hello。然后点击自动翻译按钮，那么接下来在下面就可以看到浏览器给有道发送的请求，这里截个图看看：
在上图，我们可以看到发送了很多的网络请求，这里我们点击第一个网络请求进行查看：
可以看到，我们在点击自动翻译的时候，发送的请求就是上图中RequestURL的那个URL，然后我们再点击那个Response，我们可以看到返回的结果：
并且，现在我们再回到Headers的地方，然后滚动到最下面，可以看到有一个FormData的地方，这个下面展示了许多的数据，这些数据就是你在点击翻译的时候浏览器给服务器发送的数据：
对其中几个比较重要的数据进行解释：
i：需要进行翻译的字符串，这个地方我们输入的是hello。
salt：加密用到的盐。这个是我们破解有道反爬虫机制的关键点，后面会讲到。
sign：签名字符串。也是破解反爬虫机制的关键点。
其他的数据类型暂时就不怎么重要了，都是固定写法，我们后面写代码的时候直接鞋子就可以了。到现在为止，我们就可以写一个简单的爬虫，去调用有道翻译的接口了。这里我们使用的网络请求库是Python3自带的urllib，相关代码如下：
#导入需要的库importurllib.requestimporturllib.parseimportjson#等待用户输入需要翻译的单词content=input(请输入需要翻译的单词：)#有道翻译的url链接url=
转载请注明地址:http://www.ihgqp.com/tslf/17560.html
