如何使用nodejs做爬虫程序

一、如何使用nodejs做爬虫程序

1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。

当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。

2、如果是定向爬取，且主要目标是解析js动态生成的内容

此时候，页面内容是有js/ajax动态生成的，用普通的请求页面->解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。

此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs，当然诸如selenium之类的也可以考虑。

3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候

大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。

PHP对多线程、异步支持较差，不建议采用。

NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。

Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；

此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。

至于C、C++虽然性能不错，但不推荐，尤其是考虑到成本等诸多因素；对于大部分公司还是建议基于一些开源的框架来做，不要自己发明轮子，做一个简单的爬虫容易，但要做一个完备的爬虫挺难的。

像我搭建的微信公众号内容聚合的网站就是基于Scrapy做的，当然还涉及消息队列等。可以参考下图：

具体内容可以参考一个任务调度分发服务的架构

二、nodejs中如何使用path路径处理模块

path模块是 Node.js官方提供的处理路径的模块，它包含了一系列方法和属性，便于路径的处理。在 JavaScript代码中使用 path模块，首先需要导入。

使用 path模块处理路径，可以进行路径拼接、获取文件名、文件扩展名等操作。

使用 path.join()方法将多个路径片段拼接成完整路径字符串。其语法格式为：path.join(...paths)。该方法返回拼接后的路径字符串。今后所有路径拼接操作，均应使用此方法，避免直接使用+进行拼接。

使用 path.basename()方法获取路径中的文件名。其语法格式为：path.basename(path)。可选参数 ext用于获取包含扩展名的文件名。该方法返回路径中的最后一部分。

使用 path.extname()方法获取路径中的扩展名部分。其语法格式为：path.extname(path)。返回路径中的扩展名字符串。

案例目标是将 index.html页面拆分为 index.css、index.js和 index.html文件，并保存至 clock目录。步骤包括：创建正则表达式匹配文件名，使用 path模块方法完成文件拆分和路径操作。

总结，path模块提供了方便快捷的路径处理功能，通过学习其提供的方法，可以有效处理路径相关需求。例如，使用 path.join()进行路径拼接，使用 path.basename()和 path.extname()获取文件名和扩展名。在实际项目中，合理运用这些方法可以简化代码，提高效率。

三、Python,Node.js 哪个比较适合写爬虫

主要看你定义的“爬虫”干什么用。

1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。

当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。

2、如果是定向爬取，且主要目标是解析js动态生成的内容

此时候，页面内容是有js/ajax动态生成的，用普通的请求页面->解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。

此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs，当然诸如selenium之类的也可以考虑。

3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候

大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。

PHP对多线程、异步支持较差，不建议采用。

NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。

Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；

此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。