Node.js 教程
收录了这篇文章 

网络爬虫，又称为网页蜘蛛、网络机器人或网页追逐者，是一种按照预定规则自动抓取万维网信息的程序或脚本。其核心功能在于能够自动化浏览网络并获取数据，这些数据可以是网页内容、图片、视频等多种形式的信息。爬虫在工作时会根据开发者设定的规则（爬虫算法）来遍历网页链接，获取页面内容，解析所需数据，并常常进一步存储或分析这些数据。

爬虫的基本组成部分及流程：

1. 获取网页：爬虫首先向目标网站发送HTTP请求，就像我们在浏览器中输入网址并按下回车键一样。这个过程涉及遵循robots.txt文件规定，尊重网站的爬取规则。

2. 解析网页：获取到网页内容后，爬虫会使用HTML解析器（如BeautifulSoup、lxml等）来解析HTML文档，从中提取出需要的信息。解析过程包括识别和提取特定的标签、属性或文本内容。

3. 存储数据：提取到的数据会被储存到文件系统、数据库或其他存储介质中，以便后续的分析或使用。

使用爬虫的注意事项：

• 合法性：需遵守目标网站的robots.txt协议，尊重版权和隐私权，非公开或受保护数据不可非法抓取。
• 反爬虫策略：许多网站会实施反爬措施，如IP限制、动态加载数据、验证码验证等，爬虫设计需考虑绕过这些障碍的策略。
• 效率与礼貌：合理设置访问频率，避免对目标服务器造成过大负担，遵循行业最佳实践。

一个简单的爬虫：

// 加载http模块
var http = require('http');
// Cheerio 是一个Node.js的库， 它可以从html的片断中构建DOM结构，然后提供像jquery一样的css选择器查询
var cheerio = require('cheerio');

// 定义爬虫的目标地址
var url = 'http://www.imooc.com/learn/348';

http.get(url, function (res) {
  var html = '';
  // 获取页面数据
  res.on('data', function (data) {
    html += data;
  });
  // 数据获取结束
  res.on('end', function () {
    // 通过过滤章节信息获取实际需求的课程信息
    var courseData = filterChapters(html);
    // 打印课程信息
    printCourseInfo(courseData);
  });
}).on('error', function () {
  console.log('获取数据出错！');
});

/* 过滤章节信息 */
function filterChapters(html) {
  // 沿用JQuery风格
  var $ = cheerio.load(html);
  // 通过类名获取章节信息
  var chapters = $('.chapter');
  // 课程数据，该数据是一个数组
  var courseData = [];

  /* 章节信息遍历 */
  chapters.each(function (item) {
    // 获取单独的每一章
    var chapter = $(this);
    // 获取strong标签里面的文本，trim()去除空格，split()分隔成数组，最终只获取章节标题
    var chapterTitle = chapter.find('strong').text().trim().split('\n')[0];
    // 获取video标签下的子标签li的内容
    var videos = chapter.find('.video').children('li');
    // 定义章节数据
    var chapterData = {
      chapterTitle: chapterTitle,
      videos: []
    };

    /* 视频信息遍历 */
    videos.each(function (item) {
      // 通过标签的类名来获取单独的视频信息
      var video = $(this).find('.J-media-item');
      // 视频标题
      var videoTitle = video.text().trim().split('\n')[0].trim();
      // 视频时长
      var videoTime = video.text().trim().split('\n')[1].trim();
      // 视频编号
      var id = String(video.attr('href')).split('video/')[1];
      // 填充章节信息中视频数组
      chapterData.videos.push({
        title: videoTitle,
        time: videoTime,
        id: id
      });
    });
    // 填充课程信息中的章节信息
    courseData.push(chapterData);
  });
  // 返回课程信息
  return courseData;
}

/* 打印课程信息 */
function printCourseInfo(courseData) {
  // 遍历课程信息
  courseData.forEach(function (item) {
    // 获取章节标题
    var chapterTitle = item.chapterTitle;
    // 打印章节标题并换行
    console.log(chapterTitle + '\n');
    // 遍历每个章节中的视频信息并打印
    item.videos.forEach(function (video) {
      console.log('   [' + video.id + '] ' + video.title + ' ' + video.time + '\n');
    });
  });
}

修改时间 2024-05-29