简介做爬虫解析 HTML，之前一直是用 cheerio，随着 jQuery 的渐行渐远，使用 cheerio 的类 jQuery API 已经成为一种负担， 我使用这个支持 Selectors API 的解析器 node-html-parser 来代替 cheerio。前后端的 HTML Selectors API 终于统一了。官方地址：https://www.npmjs.com/package/node-html-parser在 npmjs.com 的周下载量是：1,777,505。 cheerio 的周下载量是 6,696,323。执行速度上：cheerio :12.072
简介：cheerio 是一个HTML解析器，cheerio实现了核心jQuery的子集。常用来解析采集来的HTML数据。安装：npm install cheerio
基础使用：const cheerio = require('cheerio');
var htmlString = ` ul id="fruits"
li class="apple" 苹果 /li
li class="orange" 橙子 /li
li class="pear" 梨 /li
/ul `;
$ = cheerio.load(htmlString);
$('.apple', '#fruits'
1，cheerio 获取一个文本节点，该节点没有html标签，比如想获取html中的“猪突猛进” a href="#"
猪突猛进
span 2021年3月12日 /span
/a
var text = $("#itemInfo").contents().filter(function () {
return this.nodeType === 3;
}).text();
2，Node.js 获取 IP V6 内容出现超时问题的解决方法本地是IP V4，获取IP V6内容的时候，提示：Error: connect ETIMEDOUT 172.67.21
重写了爬虫，程序逻辑如下：
1，爬虫抓取文章列表第一页。
2，获取文章列表。
3，遍历文章。
4，把文章列表中文章的缩略图下载保存。
5，把文章内容中的图片全部下载保存，并用图片新路径，替换文章内容中的图片地址。
6，保存文章内容到数据库。
7，处理完文章列表后，递归执行下一页文章列表。
var http = require('http');
var http = require('https');
var fs = require('fs');
var cheerio = require('cheerio');
var po
编写爬虫时，需要HTMLParser解析HTML，HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。现在流行很多解析器，综合一下比较看好 cheerio 和 jsdom。 cheerio简单好用速度快，JSDOM的目标是提供一个我们在浏览器里面看到的相同的 DOM 环境。支持最新的javascript选择器。 安装npm install cheerio HTML示例 ul id=“fruits”
li class=“apple” Apple /li
li class=“orange” Orange /li
// 加载http模块
var http = require('http');
// Cheerio 是一个Node.js的库， 它可以从html的片断中构建DOM结构，然后提供像jquery一样的css选择器查询
var cheerio = require('cheerio');
// 定义爬虫的目标地址
var url = 'http://www.imooc.com/learn/348';
http.get(url, function (res) {
var html = '';
// 获取页面数据
res.on('data', function (d