Concept Taxonomy for 网络爬虫技术¶
本教材将 240 个核心概念划分为 12 个分类体系（Taxonomy Categories），覆盖从计算机网络与合规基石到 AI 智能爬虫与综合工程实训的完整知识链路。
| Category Name | TaxonomyID | Color | Description |
|---|---|---|---|
| 爬虫导论与合规基石 | FOUND |
SteelBlue | 先修基础概念、爬虫基本分类、robots.txt协议与数据安全法律法规 |
| Web前端与HTTP协议 | HTTP |
DodgerBlue | URL结构、DNS/TCP/TLS通信、HTTP请求与响应报文、会话机制与DevTools抓包 |
| Python网络请求编程 | REQ |
DarkGreen | urllib与requests/httpx客户端、请求参数与头部控制、超时重试与代理配置 |
| 静态网页解析与正则 | PARSE |
LimeGreen | DOM树拓扑、字符编码、BeautifulSoup4/CSS选择器、lxml/XPath与正则表达式 |
| 异步接口与API采集 | API |
Gold | SSR与CSR对比、AJAX/XHR/Fetch、JSON/JSONPath、分页规律与WebSocket/GraphQL |
| 动态渲染与浏览器自动化 | DYN |
DarkGoldenrod | 浏览器渲染原理、Playwright自动化框架、元素定位与等待、交互模拟与CDP拦截 |
| 反爬虫机制与对抗策略 | ANTI |
Crimson | UA与指纹检测、IP限流与代理池、Cookie池、验证码识别与JS参数签名逆向 |
| 高并发与异步协程爬虫 | ASYNC |
MediumPurple | I/O密集型特征、多线程池、asyncio事件循环、aiohttp/httpx异步并发与限流 |
| 数据清洗与多源存储 | STORE |
Teal | 文本去噪与归一化、哈希去重、CSV/JSONL/Parquet文件、SQLite/MySQL/MongoDB存储 |
| Scrapy工业级框架 | SCRP |
Indigo | Scrapy六大组件架构、Spider/CrawlSpider、Item/Pipeline、Middleware与分布式 |
| AI智能爬虫与数据集构建 | AICRP |
Orange | LLM语料格式、正文提取与Markdown转换、LLM结构化抽取、多模态数据集与RAG管线 |
| 综合工程实训与运维部署 | PROJ |
DeepPink | Docker容器化、定时调度、日志监控告警与AI垂直领域数据集综合实训项目 |
Category Descriptions¶
爬虫导论与合规基石 (FOUND)¶
- Recommended Color:
SteelBlue - Scope: 先修基础概念、爬虫基本分类、robots.txt协议与数据安全法律法规
Web前端与HTTP协议 (HTTP)¶
- Recommended Color:
DodgerBlue - Scope: URL结构、DNS/TCP/TLS通信、HTTP请求与响应报文、会话机制与DevTools抓包
Python网络请求编程 (REQ)¶
- Recommended Color:
DarkGreen - Scope: urllib与requests/httpx客户端、请求参数与头部控制、超时重试与代理配置
静态网页解析与正则 (PARSE)¶
- Recommended Color:
LimeGreen - Scope: DOM树拓扑、字符编码、BeautifulSoup4/CSS选择器、lxml/XPath与正则表达式
异步接口与API采集 (API)¶
- Recommended Color:
Gold - Scope: SSR与CSR对比、AJAX/XHR/Fetch、JSON/JSONPath、分页规律与WebSocket/GraphQL
动态渲染与浏览器自动化 (DYN)¶
- Recommended Color:
DarkGoldenrod - Scope: 浏览器渲染原理、Playwright自动化框架、元素定位与等待、交互模拟与CDP拦截
反爬虫机制与对抗策略 (ANTI)¶
- Recommended Color:
Crimson - Scope: UA与指纹检测、IP限流与代理池、Cookie池、验证码识别与JS参数签名逆向
高并发与异步协程爬虫 (ASYNC)¶
- Recommended Color:
MediumPurple - Scope: I/O密集型特征、多线程池、asyncio事件循环、aiohttp/httpx异步并发与限流
数据清洗与多源存储 (STORE)¶
- Recommended Color:
Teal - Scope: 文本去噪与归一化、哈希去重、CSV/JSONL/Parquet文件、SQLite/MySQL/MongoDB存储
Scrapy工业级框架 (SCRP)¶
- Recommended Color:
Indigo - Scope: Scrapy六大组件架构、Spider/CrawlSpider、Item/Pipeline、Middleware与分布式
AI智能爬虫与数据集构建 (AICRP)¶
- Recommended Color:
Orange - Scope: LLM语料格式、正文提取与Markdown转换、LLM结构化抽取、多模态数据集与RAG管线
综合工程实训与运维部署 (PROJ)¶
- Recommended Color:
DeepPink - Scope: Docker容器化、定时调度、日志监控告警与AI垂直领域数据集综合实训项目