# OpenDataLoader-PDF 技术栈

"""
核心处理层: Rust (PyO3绑定)
├── PDF解析引擎 (Rust)
├── 表格检测算法 (Rust)
├── 图像处理 (Rust)
└── 异步I/O (Tokio)

Python绑定层: PyO3
├── 类型安全的Python接口
├── 异步支持 (asyncio)
└── 错误处理桥接

用户接口层: Python
├── 简洁的API设计
├── 数据类输出
└── 类型提示完善
"""

from opendataloader import PDFLoader

# 自动选择最优后端
loader = PDFLoader()

# 或手动指定后端
loader = PDFLoader(backend='pymupdf')  # 速度优先
loader = PDFLoader(backend='unstructured')  # 布局分析优先

from opendataloader import PDFLoader

# 初始化加载器
loader = PDFLoader()

# 提取文本
result = loader.extract_text('document.pdf')

# 访问结果
print(result.text)  # 完整文本内容
print(result.pages)  # 分页信息
print(result.metadata)  # 文档元数据

# 高级文本提取配置
result = loader.extract_text(
    'document.pdf',
    # 文本提取选项
    extract_images=True,      # 同时提取图片
    extract_tables='auto',     # 自动检测表格
    extract_metadata=True,     # 提取元数据
    
    # 布局选项
    layout_mode='normal',      # normal / loose / tight
    keep_style=False,          # 保留文本样式信息
    
    # 性能选项
    batch_size=100,          # 批处理大小
    num_workers=4,            # 并行工作进程数
)

# 表格提取
result = loader.extract_tables(
    'document.pdf',
    # 表格检测
    detect_tables=True,        # 启用表格检测
    min_table_rows=2,         # 最小行数
    min_table_cols=2,         # 最小列数
    
    # 表格结构识别
    detect_merged_cells=True,   # 检测合并单元格
    detect_header=True,         # 检测表头
    
    # 输出格式
    output_format='dataframe',  # dataframe / html / markdown
)

# 内部表格检测流程
class TableDetector:
    """基于视觉特征的表格检测"""
    
    def detect(self, page_image):
        """
        1. 图像预处理
        """
        binary = self.binarize(page_image)
        lines = self.detect_lines(binary)
        
        """
        2. 线条交叉分析
        """
        intersections = self.find_intersections(lines)
        cells = self.identify_cells(intersections)
        
        """
        3. 表格结构推断
        """
        rows, cols = self.infer_structure(cells)
        header = self.detect_header(rows)
        
        """
        4. 内容填充
        """
        table = self.extract_cell_contents(cells, page_image)
        return Table(rows=rows, header=header, data=table)

# 图片提取
result = loader.extract_images(
    'document.pdf',
    # 图片选项
    extract_images=True,
    image_format='png',       # png / jpeg / webp
    image_dir='./images',      # 图片保存目录
    
    # 过滤选项
    min_width=100,            # 最小宽度
    min_height=100,            # 最小高度
    filter_graphics=True,       # 过滤装饰图形
)

# 按标题/章节提取
result = loader.extract_by_headings(
    'document.pdf',
    # 结构识别
    heading_styles=['Heading 1', 'Heading 2', 'Normal'],
    toc_only=False,            # 仅提取目录
    
    # 过滤
    min_section_length=100,    # 最小章节长度
)

from opendataloader import BatchProcessor

# 初始化批处理器
processor = BatchProcessor(
    loader=PDFLoader(),
    
    # 并发配置
    num_workers=8,             # 工作进程数
    queue_size=100,           # 任务队列大小
    
    # 容错配置
    max_retries=3,            # 最大重试次数
    skip_on_error=True,        # 错误时跳过
    
    # 进度追踪
    show_progress=True,        # 显示进度条
    callback=progress_callback,  # 进度回调函数
)

# 处理目录中的所有PDF
results = processor.process_directory(
    '/path/to/pdf/directory',
    recursive=True,            # 递归处理子目录
    file_pattern='*.pdf',      # 文件过滤
)

import asyncio
from opendataloader.async_loader import AsyncPDFLoader

async def process_documents():
    # 初始化异步加载器
    loader = AsyncPDFLoader()
    
    # 创建任务列表
    urls = [
        'https://example.com/doc1.pdf',
        'https://example.com/doc2.pdf',
        'https://example.com/doc3.pdf',
    ]
    
    # 并发处理
    results = await loader.process_urls(
        urls,
        max_concurrent=10,    # 最大并发数
        rate_limit=5,          # 速率限制（请求/秒）
    )
    
    return results

# 运行异步任务
results = asyncio.run(process_documents())

# 流式处理（适用于超大型PDF）
loader = PDFLoader()

# 流式模式 - 不加载完整文档到内存
for page_result in loader.stream_pages('huge_document.pdf'):
    # 每页处理后立即释放内存
    process_page(page_result)
    
    # 可选：增量保存
    save_partial_results(page_result)

from opendataloader import PDFLoader, DatasetBuilder

# 1. 加载PDF
loader = PDFLoader()
documents = loader.extract_text(
    '/path/to/pdf/library',
    batch_size=500,
    num_workers=16,
)

# 2. 构建数据集
builder = DatasetBuilder(format='jsonl')

# 配置
builder.add_field('text', documents.text)
builder.add_field('metadata', documents.metadata)
builder.add_field('source', 'paper')

# 3. 导出
builder.export(
    'training_dataset.jsonl',
    compression='gz',           # 压缩输出
)

# 提取用于知识图谱的结构化数据
result = loader.extract_for_kg(
    'academic_paper.pdf',
    
    # 实体识别
    extract_entities={
        'persons': True,       # 人名
        'organizations': True,   # 组织名
        'locations': True,      # 地名
        'dates': True,          # 日期
        'citations': True,       # 引用
    },
    
    # 关系抽取
    extract_relations=[
        'cites',               # 引用关系
        'authored_by',          # 作者关系
        'published_in',         # 发表关系
    ],
    
    # 输出格式
    output_format='kg-json',    # 知识图谱专用格式
)

# 方式1: pip直接安装（推荐）
pip install opendataloader-pdf

# 方式2: 从源码安装
git clone https://github.com/opendataloader-project/opendataloader-pdf.git
cd opendataloader-pdf
pip install -e .

# 方式3: 带所有后端的完整安装
pip install opendataloader-pdf[all]

# 安装可选后端
pip install opendataloader-pdf[pymupdf]   # PyMuPDF后端
pip install opendataloader-pdf[unstructured] # unstructured后端
pip install opendataloader-pdf[all]       # 所有后端

# 性能优化配置
loader = PDFLoader(
    # 使用PyMuPDF后端（最快）
    backend='pymupdf',
    
    # 关闭不必要的功能
    extract_images=False,      # 不需要图片时关闭
    extract_metadata=False,    # 不需要元数据时关闭
    
    # 增大批处理大小
    batch_size=200,
    
    # 利用多核CPU
    num_workers=8,
)

# 使用缓存避免重复处理
from opendataloader import Cache
cache = Cache('./.opendataloader_cache')

result = loader.extract_text(
    'document.pdf',
    cache=cache,               # 启用缓存
)

# 处理大型PDF集合的内存优化策略

# 策略1: 流式处理
for page in loader.stream_pages('large.pdf'):
    process_and_save(page)

# 策略2: 分批处理
for batch in loader.batch_process('large_directory', batch_size=50):
    save_batch_to_disk(batch)
    clear_memory()

# 策略3: 使用低内存后端
loader = PDFLoader(backend='pypdf')  # 比PyMuPDF更省内存

from opendataloader import PDFLoader, PDFProcessingError

loader = PDFLoader()

# 详细错误处理
for pdf_file in pdf_files:
    try:
        result = loader.extract_text(pdf_file)
    except PDFProcessingError as e:
        print(f"处理失败: {pdf_file}")
        print(f"错误类型: {e.error_type}")
        print(f"错误详情: {e.details}")
        # 可选：保存错误日志
        log_error(pdf_file, e)
    except Exception as e:
        print(f"未知错误: {pdf_file}: {e}")