Python,Node.js 哪个比较适合写爬虫

一、Python,Node.js 哪个比较适合写爬虫

主要看你定义的“爬虫”干什么用。

1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。

当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。

2、如果是定向爬取，且主要目标是解析js动态生成的内容

此时候，页面内容是有js/ajax动态生成的，用普通的请求页面->解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。

此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs，当然诸如selenium之类的也可以考虑。

3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候

大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。

PHP对多线程、异步支持较差，不建议采用。

NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。

Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；

此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。

二、如何使用nodejs做爬虫程序

建立一个Express项目，然后将app.js的文件内容全部删除，因为暂时不需要在Web端展示内容。当然我们也可以在空文件夹下直接 npm install express来使用需要的Express功能。

如图，这是CNode首页一部分div标签，就是通过这一系列的id、class来定位需要的信息。

superagent就是ajax API来使用的Http库，它的使用方法与jQuery差不多，通过它发起get请求，在回调函数中输出结果。

var express= require('express');

var url= require('url');//解析操作url

var superagent= require('superagent');//这三个外部依赖不要忘记npm install

var cheerio= require('cheerio');

var eventproxy= require('eventproxy');

var targetUrl=';;

cheerio充当服务器端的jQuery功能，先使用它的.load()来载入HTML，再通过CSS selector来筛选元素。

$('#topic_list.topic_title').each(function(idx, element){

5、使用eventproxy来并发抓取每个主题的内容

eventproxy就是使用事件(并行)方法来解决这个问题。当所有的抓取完成后，eventproxy接收到事件消息自动帮你调用处理函数。

//第一步：得到一个 eventproxy的实例

//第二步：定义监听事件的回调函数。

//params: eventname(String)事件名,times(Number)监听次数, callback回调函数

ep.after('topic_html', topicUrls.length, function(topics){

// topics是个数组，包含了 40次 ep.emit('topic_html', pair)中的那 40个 pair

topics= topics.map(function(topicPair){

var$= cheerio.load(topicHtml);

title:$('.topic_full_title').text().trim(),

comment1:$('.reply_content').eq(0).text().trim()

console.log('outcome:');

topicUrls.forEach(function(topicUrl){

console.log('fetch'+ topicUrl+' successful');

ep.emit('topic_html', [topicUrl, res.text]);

三、js逆向爬虫属于什么水平

1、高级爬虫的设计初衷是为了应对反爬措施，因此使用JavaScript（简称js）编写的爬虫可以被视为一种高级水平的技术。这类高级爬虫能够绕过网站的防护机制，获取原本通过JavaScript动态加载的数据。掌握加密算法并能够解密破解这些加密数据，这标志着编程技能从初学者向专家级别的跨越。熟练掌握加密算法的解析，不仅能够提高爬虫的效率，还能增强其灵活性和适应性，以应对复杂多变的网站防护策略。

2、在开发js逆向爬虫的过程中，解密和破解加密数据是关键步骤。加密算法的深入理解和熟练应用，使得开发者能够更好地解析网站动态生成的内容。这种能力不仅提升了爬虫的功能性和可靠性，还为开发者提供了强大的工具，使其能够应对各种复杂的网络环境。通过逆向工程，开发者可以洞察网站后端数据处理的逻辑，进而优化爬虫的性能，实现更高效的数据抓取。

3、高级js逆向爬虫的实现，不仅要求开发者具备扎实的编程基础，还需要对加密技术有深刻的理解。这不仅是技能的积累，更是思维方式的转变。开发者需要从静态的HTML解析转向动态的数据处理，从单一的数据获取转向复杂的数据分析和处理。这种转变意味着更高的技术要求和更大的挑战，同时也为开发者提供了更广阔的创新空间。通过不断学习和实践，开发者可以不断提升自己的技术水平，最终成为真正的编程大牛。

4、总之，高级js逆向爬虫是一种复杂而强大的技术，它要求开发者具备深厚的编程基础和对加密技术的深刻理解。掌握这种技术不仅能够提高爬虫的效率和灵活性，还能帮助开发者更好地理解网站的运作机制，为实现更高效的数据抓取和分析提供坚实的基础。