爬虫 on Text Matrix

CloakBrowser：源代码级打补丁的隐身Chromium浏览器

Mon, 18 May 2026 00:00:00 +0000

CloakBrowser：源代码级打补丁的隐身Chromium浏览器

CloakBrowser 是一个从 Chromium 源代码层面进行指纹修改的隐身浏览器，49个源代码补丁覆盖 canvas、WebGL、audio、fonts、GPU、screen、WebRTC、network timing 等所有自动化信号。能通过 Cloudflare Turnstile、FingerprintJS、BrowserScan 等 30+ 检测平台的测试，在 headless 模式下依然保持人类浏览器级别的 reCAPTCHA v3 评分（0.9分）。

CloakBrowser：源码级改写的反机器人 Chromium 分发版

Thu, 14 May 2026 12:44:00 +0800

项目概览

CloakBrowser 是 CloakHQ 团队推出的 stealth Chromium 分发版，GitHub 今日新增约 1,835 星。其核心价值在于解决了自动化浏览器被反爬虫系统检测的核心痛点：浏览器指纹。

大多数反爬虫方案通过检测 navigator.webdriver、Browserleaks 分数、`Canvas/WebGL 哈希」或「Headless Chrome 特有行为」来识别自动化脚本。CloakBrowser 从 C++ 源码层面修改了这些检测点，使得目标网站看到的不是一个"被操控的浏览器"，而是一个"真实的普通用户 Chrome"。

Photon：极速 OSINT 爬虫——域名发现、敏感信息提取与情报收集从入门到精通

Tue, 14 Apr 2026 22:35:00 +0800

Photon：极速 OSINT 爬虫——域名发现、敏感信息提取与情报收集从入门到精通

目标读者：安全研究员、渗透测试工程师、Bug Bounty 猎人、对 OSINT 感兴趣的开发者 预计阅读时间：40-50 分钟 前置知识：Python 基础、HTTP 协议理解、了解过网络爬虫概念 难度定位：⭐⭐⭐⭐ 专家设计

cloudscraper：攻克 Cloudflare 反爬的终极武器——Python 反爬从入门到精通

Tue, 14 Apr 2026 22:00:00 +0800

cloudscraper：攻克 Cloudflare 反爬的终极武器——Python 反爬从入门到精通

目标读者：有 Python 爬虫基础，想深入了解 Cloudflare 反爬机制及破解之道的开发者 预计阅读时间：45-60 分钟 前置知识：Python 基础、HTTP 协议理解、了解过 requests 库 难度定位：⭐⭐⭐⭐ 专家设计

Scrapling：现代网页爬虫框架·自适应·反反爬

Sun, 12 Apr 2026 02:31:39 +0800

Scrapling：现代网页爬虫框架——自适应、反反爬、并发爬取

一、项目概述

1.1 Scrapling 是什么

Scrapling 是 D4Vinci 开发的自适应网页爬虫框架，能够处理从单次请求到大规模爬取的各类场景。其核心特点是：

自适应解析：网站结构变化时自动定位元素
反反爬绕过：开箱即用绕过 Cloudflare Turnstile 等反爬机制
并发爬取：支持 Scrapy 风格的 Spider 框架
AI 集成：内置 MCP Server，支持 AI 辅助爬取

1.2 核心数据

指标	数值
Stars	36.1k ⭐
Forks	3.1k
最新版本	v0.4.5 (2026-04-07)
许可证	BSD-3-Clause
语言	Python 99.9%
贡献者	17

1.3 为什么选择 Scrapling

特点	说明
🤖 自适应解析	网站改版后自动重新定位元素
🛡️ 反反爬	绕过 Cloudflare Turnstile
⚡ 性能卓越	文本提取 2.02ms（比 MechanicalSoup 快 767 倍）
🕷️ Spider 框架	Scrapy 风格，支持并发、暂停/恢复
🔌 AI 集成	MCP Server，AI 辅助数据提取
🐳 Docker 支持	一键部署，含所有浏览器

二、技术架构

2.1 整体架构

┌─────────────────────────────────────────────────────────────┐
│ Scrapling │
├─────────────────────────────────────────────────────────────┤
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Spiders │ │ Fetchers │ │ Parser │ │
│ │ (爬取框架) │ │ (请求引擎) │ │ (解析引擎) │ │
│ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │
│ └────────────────┼────────────────┘ │
│ ▼ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ Core Engine │ │
│ │ • Session Management │ │
│ │ • Proxy Rotation │ │
│ │ • Adaptive Element Tracking │ │
│ │ • Checkpoint/Pause & Resume │ │
│ └─────────────────────────────────────────────────┘ │
│ ▼ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Fetcher │ │StealthyFetcher│ │DynamicFetcher│ │
│ │ (HTTP) │ │ (反反爬) │ │ (浏览器) │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────┘

2.2 核心组件

组件	功能	适用场景
Fetcher	HTTP 请求，TLS 指纹伪装	静态页面
StealthyFetcher	高级反反爬，Cloudflare 绕过	反爬网站
DynamicFetcher	浏览器自动化，JS 渲染	SPA/动态加载
Spider	并发爬取框架	大规模爬取
Selector	CSS/XPath/文本解析	数据提取
MCP Server	AI 辅助爬取	智能数据提取

三、Fetcher 详解

3.1 三种 Fetcher 对比

Fetcher	速度	反反爬	JS 支持	适用场景
Fetcher	⚡⚡⚡	❌	❌	静态页面，高速请求
StealthyFetcher	⚡⚡	✅ Cloudflare	❌	反爬网站，无需 JS
DynamicFetcher	⚡	✅	✅	SPA，动态内容

3.2 HTTP 请求（Fetcher）

 
from scrapling.fetchers import Fetcher, FetcherSession

# 单次请求
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()

# 会话请求（保持 Cookie）
with FetcherSession(impersonate='chrome') as session:
 page = session.get('https://example.com/')
 data = page.css('.item::text').getall()

特性：

TikTokDownloader：14K Stars·抖音/TikTok数据采集与下载工具

Sun, 12 Apr 2026 02:31:39 +0800

TikTokDownloader：14K Stars·抖音/TikTok数据采集与下载工具·批量下载·WebAPI·终端交互

一，项目概述

1.1 TikTokDownloader 是什么

TikTokDownloader（也称为 DouK-Downloader）是 JoeanAmier 开发的 抖音/TikTok 数据采集和下载工具，支持批量下载账号发布、喜欢、收藏、合集作品，以及直播视频及评论数据采集。

WeChat Article to Markdown：微信公众号文章转Markdown工具

Wed, 08 Apr 2026 13:05:00 +0800

WeChat Article to Markdown：微信公众号文章转Markdown工具

1. 学习目标

通过本文你将掌握：

理解 WeChat Article to Markdown 的设计理念和核心价值
熟练安装和配置工具
掌握各种使用方式（CLI、Python API、AI Agent Skill）
理解反检测抓取原理
定制和扩展工具功能
最佳实践和常见问题解决

2. 项目概述

2.1 什么是 WeChat Article to Markdown

WeChat Article to Markdown 是一个开源工具：