Hệ thống cào Wiki & Tích hợp AI
Tổng quan về trạng thái cào dữ liệu và đồng bộ hóa tự động.
Hệ thống trực tuyến
Tổng số trang đã phát hiện
1,248
+45 trang mới hôm nay
Đã đồng bộ WordPress
842
Đã xong 67% website
Phát hiện thay đổi chờ duyệt
12
Yêu cầu phê duyệt
Chi phí OpenRouter AI
$1.24
4,250 Tokens hôm nay
Lịch sử đồng bộ gần đây
| URL nguồn | Tiêu đề | Mã băm SHA-256 | Trạng thái | Đồng bộ WP |
|---|---|---|---|---|
| /wiki/Luffy | Monkey D. Luffy | e99a182b3d88195a... | KHÔNG ĐỔI | Đã cập nhật (Post #124) |
| /wiki/Zoro | Roronoa Zoro | a87c1243b9d628ab... | ĐÃ THAY ĐỔI | Chờ duyệt qua AI |
Tiến trình cào dữ liệu toàn bộ Website
60%
Đã xong: 600 trang
Chờ quét: 350 trang
Lỗi cào: 5 trang
Hàng đợi liên kết & Danh sách bài viết (SQLite Database)
Danh sách toàn bộ các URL được phát hiện từ Sơ đồ liên kết. Bạn có thể xem trước nội dung sạch hoặc kích hoạt cào riêng lẻ.
| Liên kết URL | Tiêu đề bài viết | Kích thước | Số ảnh | Thời gian cào | Trạng thái | Hành động |
|---|---|---|---|---|---|---|
| Đang tải danh sách hàng đợi từ SQLite... | ||||||
Bảng thử nghiệm cào dữ liệu đa nguồn (Crawler TDD Testing Panels)
Giai đoạn 2.1
Test Kết Nối
Kiểm thử kết nối HTTPX, Rotating User-Agent, tải về mã HTML thô từ link Wiki nguồn.
Giai đoạn 2.2
Test Bóc Tách HTML
Kích hoạt Parser tương ứng để bóc tách lọc bỏ mã rác, trích xuất Tiêu đề và Văn bản chính sạch.
Giai đoạn 2.3
Test Trích Ảnh & So Sánh
Quét hình ảnh, liên kết nội bộ để cào tiếp, băm SHA-256 để so sánh thay đổi lịch sử JSON.
Full pipeline
Run Full Pipeline
Thử nghiệm toàn bộ chu trình Module 2: Tải thô -> Bóc tách -> Trích xuất -> Lưu file JSON cục bộ.
Bảng nhật ký kiểm thử thời gian thực (Live Crawl Logs Console)
> _ [Hệ thống sẵn sàng] Nhập URL và nhấn bất kỳ nút bấm kiểm thử nào ở trên để xem logs.
AI Provider Gateway
Configure shared AI models for OpenAI and OpenRouter. API keys entered here are used only for connection testing and are not saved to SQLite.
Default Provider
OpenAI
GPT API
Key status: loading...
OpenRouter
Multi-model API
Key status: loading...
AI connection logs
> AI module ready. Load settings, then test OpenAI or OpenRouter.
Đồng bộ website WordPress
Module 5 sẽ quản lý việc kết nối WordPress REST API, tự động đồng bộ ảnh WebP nén và đẩy bài viết đã qua AI tối ưu chuẩn SEO.