Taxonomy Distribution Report

Overview

• Total Concepts: 240
• Number of Taxonomies: 12
• Average Concepts per Taxonomy: 20.0

Distribution Summary

Category	TaxonomyID	Count	Percentage	Status
静态网页解析与正则	PARSE	24	10.0%	✅
Web前端与HTTP协议	HTTP	22	9.2%	✅
Python网络请求编程	REQ	22	9.2%	✅
动态渲染与浏览器自动化	DYN	22	9.2%	✅
反爬虫机制与对抗策略	ANTI	22	9.2%	✅
爬虫导论与合规基石	FOUND	20	8.3%	✅
异步接口与API采集	API	20	8.3%	✅
数据清洗与多源存储	STORE	20	8.3%	✅
Scrapy工业级框架	SCRP	20	8.3%	✅
高并发与异步协程爬虫	ASYNC	18	7.5%	✅
AI智能爬虫与数据集构建	AICRP	18	7.5%	✅
综合工程实训与运维部署	PROJ	12	5.0%	✅

Visual Distribution

静态网页解析与正则    █████  24 ( 10.0%)
Web前端与HTTP协议 ████  22 (  9.2%)
Python网络请求编程 ████  22 (  9.2%)
动态渲染与浏览器自动化  ████  22 (  9.2%)
反爬虫机制与对抗策略   ████  22 (  9.2%)
爬虫导论与合规基石    ████  20 (  8.3%)
异步接口与API采集   ████  20 (  8.3%)
数据清洗与多源存储    ████  20 (  8.3%)
Scrapy工业级框架  ████  20 (  8.3%)
高并发与异步协程爬虫   ███  18 (  7.5%)
AI智能爬虫与数据集构建 ███  18 (  7.5%)
综合工程实训与运维部署  ██  12 (  5.0%)

Balance Analysis

✅ No Over-Represented Categories

All categories are under the 30% threshold. Good balance!

Category Details

静态网页解析与正则 (PARSE)

Count: 24 concepts (10.0%)

Concepts:

• 1. 结构化与非结构化网页数据特征
• 1. HTML5语义化标签与列表表格
• 1. DOM文档对象模型树形拓扑
• 1. DOM节点父子兄弟层级关系
• 1. 网页字符集UTF-8与GBK乱码治理
• 1. 正则表达式语法元字符与量词
• 1. 正则表达式字符集与分组捕获
• 1. 贪婪匹配与非贪婪匹配模式
• 1. Python内置re模块核心函数
• 1. BeautifulSoup4库与解析器选型
• 1. BS4节点导航与find_all检索
• 1. CSS选择器语法规则全解
• 1. BS4中select方法与CSS组合选择
• 1. DOM节点文本剥离与属性提取
• 1. XPath路径表达式核心语法
• ...and 9 more

Web前端与HTTP协议 (HTTP)

Count: 22 concepts (9.2%)

Concepts:

• 1. URI与URL语法结构剖析
• 1. URL百分号编码与解码
• 1. DNS域名解析流程
• 1. TCP三次握手与连接建立
• 1. TLS加密握手与HTTPS原理
• 1. HTTP请求与响应模型
• 1. HTTP请求方法GET与POST
• 1. HTTP状态码分类体系
• 1. 常见成功与重定向状态码
• 1. 客户端与服务端错误状态码
• 1. HTTP请求头Headers结构
• 1. User-Agent客户端标识
• 1. Referer防盗链与来源校验
• 1. Content-Type媒体类型声明
• 1. Accept与内容协商机制
• ...and 7 more

Python网络请求编程 (REQ)

Count: 22 concepts (9.2%)

Concepts:

• 1. Python虚拟环境与包管理
• 1. urllib.request底层请求模块
• 1. urllib.parse参数构造与转换
• 1. Requests库安装与核心架构
• 1. 构造GET请求与Params查询参数
• 1. Response响应对象属性解析
• 1. 响应文本编码自动识别与修正
• 1. 定制请求头Headers伪装浏览器
• 1. 构造POST表单请求data载荷
• 1. 构造POST接口JSON请求载荷
• 1. Multipart多部分文件上传请求
• 1. 二进制流模式下载图片与音视频
• 1. Requests中Cookie获取与字典注入
• 1. requests.Session跨请求会话保持
• 1. 请求重定向跟随与禁止allow_redirects
• ...and 7 more

动态渲染与浏览器自动化 (DYN)

Count: 22 concepts (9.2%)

Concepts:

• 1. 浏览器渲染引擎Blink关键渲染路径
• 1. JavaScript事件循环与动态DOM挂载
• 1. 无头浏览器Headless概念与演进历程
• 1. Selenium与Playwright架构对比
• 1. Playwright安装与浏览器驱动管理
• 1. Browser与Context多上下文隔离
• 1. Page页面生命周期与goto导航控制
• 1. Playwright智能定位器Locator语法
• 1. 显式等待与Auto-Waiting自动等待
• 1. 页面加载状态与networkidle等待
• 1. 模拟鼠标Click与键盘Fill交互
• 1. 执行自定义JS脚本page.evaluate
• 1. 页面滚动触底与无限懒加载触发
• 1. Iframe内嵌框架定位与上下文切换
• 1. 多标签页弹窗与Dialog对话框处理
• ...and 7 more

反爬虫机制与对抗策略 (ANTI)

Count: 22 concepts (9.2%)

Concepts:

• 1. 网站反爬虫防御纵深体系概览
• 1. User-Agent池与随机轮换策略
• 1. 请求头顺序与完整性校验绕过
• 1. IP频率限制Rate-Limiting与429
• 1. 代理IP匿名度分级透明与高匿
• 1. 数据中心代理住宅代理与隧道代理
• 1. 高可用分布式代理IP池架构设计
• 1. 动态Cookie生成与多账号Cookie池
• 1. WebDriver特征检测与Stealth隐藏
• 1. Canvas与WebGL硬件指纹识别原理
• 1. TLS握手JA3指纹与curl_cffi伪装
• 1. CSS样式偏移反爬与伪元素还原
• 1. WebFont字体加密与TTFont映射还原
• 1. 图形验证码原理与ddddocr识别
• 1. 滑块验证码缺口定位与轨迹模拟
• ...and 7 more

爬虫导论与合规基石 (FOUND)

Count: 20 concepts (8.3%)

Concepts:

• 1. Python编程基础
• 1. 计算机网络基础
• 1. Web浏览器基础
• 1. HTML文档结构基础
• 1. 数据结构与集合基础
• 1. 文件系统与IO基础
• 1. 数据合规与伦理意识
• 1. 万维网与超文本传输
• 1. 网络爬虫定义与核心价值
• 1. 通用搜索引擎爬虫
• 1. 聚焦主题网络爬虫
• 1. 增量式更新爬虫
• 1. 深层网页与暗网数据概念
• 1. 网络爬虫标准工作流
• 1. URL种子队列与待抓取池
• ...and 5 more

异步接口与API采集 (API)

Count: 20 concepts (8.3%)

Concepts:

• 1. 服务端渲染SSR与客户端渲染CSR架构
• 1. AJAX异步JavaScript与XML通信原理
• 1. XHR对象与Fetch现代异步API对比
• 1. RESTful架构风格与Web接口设计
• 1. JSON数据序列化格式与嵌套结构
• 1. Python内置json模块与字典互转
• 1. JSONPath与JMESPath深层数据抽取
• 1. JSONP跨域回调原理与字符串剥离
• 1. DevTools中XHR过滤器与接口快速定位
• 1. DevTools全局搜索关键字反查API
• 1. URL查询参数页码与Offset分页逆向
• 1. Cursor游标分页与瀑布流MaxID机制
• 1. 时间戳参数Time与毫秒级构造
• 1. 复杂POST请求Payload载荷逆向复现
• 1. API自定义请求头X-Requested-With分析
• ...and 5 more

数据清洗与多源存储 (STORE)

Count: 20 concepts (8.3%)

Concepts:

• 1. 原始网页脏数据与ETL清洗流水线
• 1. HTML残留标签剥离与实体字符还原
• 1. 空白字符归一化与全半角转换
• 1. 日期时间标准化与数值单位转换
• 1. Pydantic数据模型与字段类型强校验
• 1. 内容指纹MD5/SHA256与SimHash去重
• 1. CSV文件读写与UTF-8-SIG防乱码
• 1. JSON与JSON-Lines流式行存储格式
• 1. Parquet列式存储与Pandas批量导出
• 1. SQLite轻量级嵌入式数据库存储
• 1. MySQL表结构设计与utf8mb4字符集
• 1. PyMySQL参数化防注入与批量写入
• 1. 唯一索引约束与UPSERT幂等更新
• 1. SQLAlchemy与数据库连接池高并发
• 1. MongoDB文档数据库半结构化存储
• ...and 5 more

Scrapy工业级框架 (SCRP)

Count: 20 concepts (8.3%)

Concepts:

• 1. Scrapy工业级爬虫框架设计哲学
• 1. Scrapy六大组件与数据流转拓扑
• 1. Twisted异步网络引擎底层机制
• 1. Scrapy项目脚手架与目录结构规范
• 1. Spider基类编写与start_requests
• 1. Response选择器提取与yield生成器
• 1. scrapy.Request翻页与meta上下文传参
• 1. Item数据容器与ItemLoader清洗器
• 1. CrawlSpider全站爬虫与LinkExtractor
• 1. Item-Pipeline管道与多级优先级编排
• 1. Pipeline实现JSONL与数据库入库
• 1. Files与ImagesPipeline多媒体下载
• 1. Downloader-Middleware下载器中间件
• 1. 自定义中间件随机UA与动态代理注入
• 1. scrapy-playwright集成动态渲染
• ...and 5 more

高并发与异步协程爬虫 (ASYNC)

Count: 18 concepts (7.5%)

Concepts:

• 1. CPU密集型与网络IO密集型对比
• 1. 同步阻塞请求性能瓶颈与吞吐分析
• 1. 进程与线程概念及上下文切换开销
• 1. Python全局解释器锁GIL影响剖析
• 1. ThreadPoolExecutor线程池并发采集
• 1. 线程安全队列Queue与生产者消费者
• 1. ProcessPoolExecutor多进程并行解析
• 1. 协程Coroutine概念与用户态切换
• 1. asyncio事件循环Event-Loop原理
• 1. async与await异步关键字语法规范
• 1. asyncio.gather与Task并发任务编排
• 1. aiohttp异步客户端与Session复用
• 1. httpx.AsyncClient异步连接池调优
• 1. Playwright异步API多页面并发渲染
• 1. Semaphore信号量控制最大并发数
• ...and 3 more

AI智能爬虫与数据集构建 (AICRP)

Count: 18 concepts (7.5%)

Concepts:

• 1. AI与大模型训练数据生命周期全貌
• 1. LLM预训练语料Corpus质量标准
• 1. 网页正文抽取Readability与Trafilatura
• 1. 网页噪音剔除与样板文本过滤
• 1. HTML转Markdown结构化保留代码表格
• 1. Jina-Reader与Firecrawl网页提取
• 1. Crawl4AI大模型友好型异步爬虫
• 1. 基于LLM与Function-Calling零样本解析
• 1. DOM树精简Pruning降低Token消耗
• 1. LLM自动生成选择器与自愈修复爬虫
• 1. AI视觉Agent结合截图识别复杂交互
• 1. 指令微调SFT数据集Alpaca/ShareGPT格式
• 1. 垂直社区问答采集构建领域SFT语料
• 1. RAG检索增强生成与知识库实时更新
• 1. 文档语义分块Chunking与元数据保留
• ...and 3 more

综合工程实训与运维部署 (PROJ)

Count: 12 concepts (5.0%)

Concepts:

• 1. 企业级采集需求调研与目标站点勘察
• 1. 爬虫工程模块化结构与配置解耦
• 1. Docker容器化封装爬虫与浏览器环境
• 1. APScheduler与Airflow定时增量调度
• 1. Loguru结构化日志与异常堆栈追踪
• 1. 核心指标监控与飞书钉钉Webhook告警
• 1. 页面结构漂移检测与自动化健康巡检
• 1. 数据集质量评估报告与信噪比审计
• 1. 实训一：新闻资讯与舆情混合采集系统
• 1. 实训二：电商动态渲染多模态商品采集
• 1. 实训三：Scrapy-Redis分布式社区爬虫
• 1. 综合实训：垂直领域大模型RAG数据工程

Recommendations

• ✅ Excellent balance: Categories are evenly distributed (spread: 5.0%)
• ✅ MISC category minimal: Good categorization specificity

Educational Use Recommendations

• Use taxonomy categories for color-coding in graph visualizations
• Design curriculum modules based on taxonomy groupings
• Create filtered views for focused learning paths
• Use categories for assessment organization
• Enable navigation by topic area in interactive tools

---

Report generated by learning-graph-reports/taxonomy_distribution.py