Concept List for 网络爬虫技术

本列表包含《网络爬虫技术》智能教材的 240 个核心知识概念，按拓扑教学顺序排列。

1. Python编程基础
2. 计算机网络基础
3. Web浏览器基础
4. HTML文档结构基础
5. 数据结构与集合基础
6. 文件系统与IO基础
7. 数据合规与伦理意识
8. 万维网与超文本传输
9. 网络爬虫定义与核心价值
10. 通用搜索引擎爬虫
11. 聚焦主题网络爬虫
12. 增量式更新爬虫
13. 深层网页与暗网数据概念
14. 网络爬虫标准工作流
15. URL种子队列与待抓取池
16. 网页抓取广度优先策略
17. 网页抓取深度优先策略
18. Robots协议与语法规范
19. Sitemap网站地图解析
20. 数据安全法与个人信息保护
21. URI与URL语法结构剖析
22. URL百分号编码与解码
23. DNS域名解析流程
24. TCP三次握手与连接建立
25. TLS加密握手与HTTPS原理
26. HTTP请求与响应模型
27. HTTP请求方法GET与POST
28. HTTP状态码分类体系
29. 常见成功与重定向状态码
30. 客户端与服务端错误状态码
31. HTTP请求头Headers结构
32. User-Agent客户端标识
33. Referer防盗链与来源校验
34. Content-Type媒体类型声明
35. Accept与内容协商机制
36. HTTP响应头与Gzip压缩
37. HTTP无状态特性与Cookie原理
38. 服务端Session会话跟踪
39. Token与JWT身份认证机制
40. HTTP/1.1持久连接与HTTP/2多路复用
41. Chrome开发者工具DevTools基础
42. Network面板抓包与HAR导出
43. Python虚拟环境与包管理
44. urllib.request底层请求模块
45. urllib.parse参数构造与转换
46. Requests库安装与核心架构
47. 构造GET请求与Params查询参数
48. Response响应对象属性解析
49. 响应文本编码自动识别与修正
50. 定制请求头Headers伪装浏览器
51. 构造POST表单请求data载荷
52. 构造POST接口JSON请求载荷
53. Multipart多部分文件上传请求
54. 二进制流模式下载图片与音视频
55. Requests中Cookie获取与字典注入
56. requests.Session跨请求会话保持
57. 请求重定向跟随与禁止allow_redirects
58. 连接超时与读取超时Timeout控制
59. SSL证书校验与警告屏蔽verify
60. HTTP与SOCKS5代理Proxies配置
61. Requests异常继承体系与捕获
62. Tenacity库与指数退避自动重试
63. HTTPX新一代客户端与HTTP/2请求
64. cURL命令转Python爬虫代码技巧
65. 结构化与非结构化网页数据特征
66. HTML5语义化标签与列表表格
67. DOM文档对象模型树形拓扑
68. DOM节点父子兄弟层级关系
69. 网页字符集UTF-8与GBK乱码治理
70. 正则表达式语法元字符与量词
71. 正则表达式字符集与分组捕获
72. 贪婪匹配与非贪婪匹配模式
73. Python内置re模块核心函数
74. BeautifulSoup4库与解析器选型
75. BS4节点导航与find_all检索
76. CSS选择器语法规则全解
77. BS4中select方法与CSS组合选择
78. DOM节点文本剥离与属性提取
79. XPath路径表达式核心语法
80. XPath谓语条件过滤与模糊匹配
81. XPath轴定位与逻辑运算符
82. lxml.etree高效解析HTML与XPath执行
83. Parsel库链式混合选择器解析
84. Selectolax极速Cython解析引擎
85. HTML表格直接转Pandas数据框
86. XML文档与RSS订阅源解析
87. 相对URL转绝对路径urljoin拼接
88. 四大静态解析方案性能与场景对比
89. 服务端渲染SSR与客户端渲染CSR架构
90. AJAX异步JavaScript与XML通信原理
91. XHR对象与Fetch现代异步API对比
92. RESTful架构风格与Web接口设计
93. JSON数据序列化格式与嵌套结构
94. Python内置json模块与字典互转
95. JSONPath与JMESPath深层数据抽取
96. JSONP跨域回调原理与字符串剥离
97. DevTools中XHR过滤器与接口快速定位
98. DevTools全局搜索关键字反查API
99. URL查询参数页码与Offset分页逆向
100. Cursor游标分页与瀑布流MaxID机制
101. 时间戳参数Time与毫秒级构造
102. 复杂POST请求Payload载荷逆向复现
103. API自定义请求头X-Requested-With分析
104. CORS跨域资源共享与Options预检请求
105. GraphQL查询语言与单端点接口采集
106. WebSocket全双工长连接实时数据抓取
107. SSE服务端推送事件流数据采集
108. 异步API直采与DOM解析工程选型评估
109. 浏览器渲染引擎Blink关键渲染路径
110. JavaScript事件循环与动态DOM挂载
111. 无头浏览器Headless概念与演进历程
112. Selenium与Playwright架构对比
113. Playwright安装与浏览器驱动管理
114. Browser与Context多上下文隔离
115. Page页面生命周期与goto导航控制
116. Playwright智能定位器Locator语法
117. 显式等待与Auto-Waiting自动等待
118. 页面加载状态与networkidle等待
119. 模拟鼠标Click与键盘Fill交互
120. 执行自定义JS脚本page.evaluate
121. 页面滚动触底与无限懒加载触发
122. Iframe内嵌框架定位与上下文切换
123. 多标签页弹窗与Dialog对话框处理
124. storage_state登录态持久化复用
125. route路由拦截与屏蔽静态资源
126. 监听on_response直接截获API响应
127. 网页全屏截图与PDF渲染导出
128. CDP开发者协议底层控制基础
129. DrissionPage混合自动化模式
130. 动态渲染资源控制与浏览器池复用
131. 网站反爬虫防御纵深体系概览
132. User-Agent池与随机轮换策略
133. 请求头顺序与完整性校验绕过
134. IP频率限制Rate-Limiting与429
135. 代理IP匿名度分级透明与高匿
136. 数据中心代理住宅代理与隧道代理
137. 高可用分布式代理IP池架构设计
138. 动态Cookie生成与多账号Cookie池
139. WebDriver特征检测与Stealth隐藏
140. Canvas与WebGL硬件指纹识别原理
141. TLS握手JA3指纹与curl_cffi伪装
142. CSS样式偏移反爬与伪元素还原
143. WebFont字体加密与TTFont映射还原
144. 图形验证码原理与ddddocr识别
145. 滑块验证码缺口定位与轨迹模拟
146. 点选验证码与打码平台接口集成
147. 前端JS代码混淆与AST反混淆基础
148. XHR断点调试与调用栈CallStack追踪
149. 请求签名Sign与MD5/SHA摘要逆向
150. HMAC认证码与Base64参数还原
151. 对称加密AES与非对称RSA参数解密
152. Python调用Node执行JS与RPC远程调用
153. CPU密集型与网络IO密集型对比
154. 同步阻塞请求性能瓶颈与吞吐分析
155. 进程与线程概念及上下文切换开销
156. Python全局解释器锁GIL影响剖析
157. ThreadPoolExecutor线程池并发采集
158. 线程安全队列Queue与生产者消费者
159. ProcessPoolExecutor多进程并行解析
160. 协程Coroutine概念与用户态切换
161. asyncio事件循环Event-Loop原理
162. async与await异步关键字语法规范
163. asyncio.gather与Task并发任务编排
164. aiohttp异步客户端与Session复用
165. httpx.AsyncClient异步连接池调优
166. Playwright异步API多页面并发渲染
167. Semaphore信号量控制最大并发数
168. 令牌桶算法与aiolimiter异步限流
169. aiofiles异步非阻塞文件写入
170. 多线程与异步协程爬虫压测对比
171. 原始网页脏数据与ETL清洗流水线
172. HTML残留标签剥离与实体字符还原
173. 空白字符归一化与全半角转换
174. 日期时间标准化与数值单位转换
175. Pydantic数据模型与字段类型强校验
176. 内容指纹MD5/SHA256与SimHash去重
177. CSV文件读写与UTF-8-SIG防乱码
178. JSON与JSON-Lines流式行存储格式
179. Parquet列式存储与Pandas批量导出
180. SQLite轻量级嵌入式数据库存储
181. MySQL表结构设计与utf8mb4字符集
182. PyMySQL参数化防注入与批量写入
183. 唯一索引约束与UPSERT幂等更新
184. SQLAlchemy与数据库连接池高并发
185. MongoDB文档数据库半结构化存储
186. PyMongo集合操作与upsert幂等去重
187. Motor与aiomysql异步数据库写入
188. Redis内存数据库核心数据结构
189. Redis集合Set与布隆过滤器URL去重
190. 多模态文件哈希命名与对象存储归档
191. Scrapy工业级爬虫框架设计哲学
192. Scrapy六大组件与数据流转拓扑
193. Twisted异步网络引擎底层机制
194. Scrapy项目脚手架与目录结构规范
195. Spider基类编写与start_requests
196. Response选择器提取与yield生成器
197. scrapy.Request翻页与meta上下文传参
198. Item数据容器与ItemLoader清洗器
199. CrawlSpider全站爬虫与LinkExtractor
200. Item-Pipeline管道与多级优先级编排
201. Pipeline实现JSONL与数据库入库
202. Files与ImagesPipeline多媒体下载
203. Downloader-Middleware下载器中间件
204. 自定义中间件随机UA与动态代理注入
205. scrapy-playwright集成动态渲染
206. settings.py全局并发与延迟调优
207. AutoThrottle自动限速与HTTPCache
208. JOBDIR断点续爬与日志统计状态
209. scrapy-redis分布式共享调度队列
210. Scrapyd服务部署与集群可视化管理
211. AI与大模型训练数据生命周期全貌
212. LLM预训练语料Corpus质量标准
213. 网页正文抽取Readability与Trafilatura
214. 网页噪音剔除与样板文本过滤
215. HTML转Markdown结构化保留代码表格
216. Jina-Reader与Firecrawl网页提取
217. Crawl4AI大模型友好型异步爬虫
218. 基于LLM与Function-Calling零样本解析
219. DOM树精简Pruning降低Token消耗
220. LLM自动生成选择器与自愈修复爬虫
221. AI视觉Agent结合截图识别复杂交互
222. 指令微调SFT数据集Alpaca/ShareGPT格式
223. 垂直社区问答采集构建领域SFT语料
224. RAG检索增强生成与知识库实时更新
225. 文档语义分块Chunking与元数据保留
226. Embedding向量化与向量数据库写入
227. 多模态图文对采集与CLIP对齐过滤
228. 语料隐私脱敏PII擦除与MinHash去重
229. 企业级采集需求调研与目标站点勘察
230. 爬虫工程模块化结构与配置解耦
231. Docker容器化封装爬虫与浏览器环境
232. APScheduler与Airflow定时增量调度
233. Loguru结构化日志与异常堆栈追踪
234. 核心指标监控与飞书钉钉Webhook告警
235. 页面结构漂移检测与自动化健康巡检
236. 数据集质量评估报告与信噪比审计
237. 实训一：新闻资讯与舆情混合采集系统
238. 实训二：电商动态渲染多模态商品采集
239. 实训三：Scrapy-Redis分布式社区爬虫
240. 综合实训：垂直领域大模型RAG数据工程