Skip to content

关于《网络爬虫技术》教材

教材定位与编写背景

《网络爬虫技术》（Web Scraping & Data Acquisition for AI）是面向高等职业教育人工智能技术应用专业（专科）开发的新形态交互式智能教材。

在大语言模型（LLM）、多模态生成式 AI 与检索增强生成（RAG）全面普及的产业背景下，高质量数据的获取、清洗与治理已成为人工智能工程落地最关键的前置环节。本教材打破了传统爬虫课程仅停留在“抓取静态网页存入表格”的局限，构建了从Web 协议基石 → 静态与动态逆向采集 → 反爬攻防博弈 → 异步高并发与 Scrapy 分布式集群 → 面向大模型预训练/SFT/RAG 的智能语料工程的完整知识体系。

教学设计亮点

  1. 严格的 2001 修订版布鲁姆教育目标分类学对齐：涵盖记忆（Remember）、理解（Understand）、应用（Apply）、分析（Analyze）、评价（Evaluate）与创造（Create）六个认知层级。
  2. 基于有向无环图（DAG）的知识图谱驱动：全书 12 章共包含 240 个核心技术概念、523 条先修依赖边，实现零超前引用（Zero Forward References）的平滑学习曲线。
  3. 30+ 交互式微仿真（MicroSim）实验设计：将抽象的 HTTP 报文传输、DOM 树 XPath 寻址、Playwright 网络路由拦截、滑块生物动力学轨迹、asyncio 令牌桶限流与 RAG 语义分块转化为直观的可视化交互沙盒。
  4. 合规先行的工程伦理观：将《网络安全法》《数据安全法》《个人信息保护法》及 PII 隐私脱敏贯穿于第 1 章、第 11 章与第 12 章综合实训全过程。

适用对象与建议学时

  • 适用专业：高等职业院校（专科）人工智能技术应用、大数据技术、软件技术、云计算技术应用等专业。
  • 先修要求：具备 Python 基础语法（变量、容器、函数、异常处理与面向对象基础）。
  • 建议学时：64～72 学时（理论 32 学时 + 实验与综合实训 32～40 学时）。