caibotmini
|
b0bb3372fa
|
fix: 修复 save_full_post SQL 参数不匹配问题
- save_full_post 使用 psycopg2.sql 模块构建动态 SQL
- 修正 INSERT/ON CONFLICT UPDATE 缺失字段(number_features/reply_count/view_count/author_id)
- 修正 VALUES 占位符数量不匹配(%s vs 实际参数)
- 添加 instance_id 字段追踪爬虫来源
- 更新分类逻辑: 出/售/卖>deal, 收/求/购/要>want, 确认/朋友/投诉>normal
|
2026-04-07 09:15:04 +08:00 |
|
caibotmini
|
65162298c5
|
feat: v0.0.3 - 分类逻辑优化
【post_type 分类优化】
- 有"出"、"售"、"卖" → 出售(deal)
- 有"收"、"求"、"购"、"要" → 求购(want)
- 有"确认"、"朋友"、"投诉" → 其他(normal)
- else → 出售(deal) # 默认改为出售
【category 分类优化】
- 优先级：龙钞 > 马钞 > 蛇钞 > 其他
- 龙钞：含"龙"、"龙钞"、"小龙钞"、"钞王"
- 马钞：含"马"、"马钞"
- 蛇钞：含"蛇"、"蛇钞"
- 其他：以上都不是
【历史数据清洗】
- 重新分类 1813 条 post_type
- 重新分类全量 category 数据
|
2026-04-06 23:29:51 +08:00 |
|
caibotmini
|
1c0f74ccb6
|
feat: v0.0.2 - 帖子正文爬取优化
- extract_post_content 新增免责声明截断逻辑：只保留到"免责声明及风险提示： 所有交易人员，凡未采用本站中介交易的，被骗后果自负。"为止
- 爬虫脚本 crawl_cron_s1/s2/s3 支持 instance_id 日志记录
- crawler_monitor.py 监控脚本：检查三台服务器爬虫运行状态
- 修复 crawl_today 日志写入 crawl_logs 表的问题
|
2026-04-06 16:42:43 +08:00 |
|
caibotmini
|
07b2e5c7b5
|
feat: v0.0.1 - CoolBotDataSys 完整版本
- FastAPI REST API (藏品/价格/一尘数据/统计报表)
- 爬虫: crawl_today.py (增量) + yichens_spider.py (全量)
- PostgreSQL 数据库 + Redis 缓存
- LLM 价格提取模块
- APScheduler 定时调度
- 飞书日报推送
- 修复 CURDATE() -> CURRENT_DATE (PostgreSQL兼容)
- 修复 API statistics 端点
- 新增分页数据封装 (PaginatedData)
- 新增龙钞分类统计报表 (report/stats)
- requirements.txt: mysql->psycopg2-binary
|
2026-04-06 14:41:01 +08:00 |
 caibotmi
|
4282eac809
|
fix: extract author_username from <b> tags in postuserinfo div
|
2026-04-05 16:33:29 +08:00 |
|
caibotmi
|
9d418f3d8c
|
fix: crawl_today.py - BeautifulSoup解析 + 去掉日期过滤 + 修复post_id正则
|
2026-04-05 15:48:33 +08:00 |
|
caibotmi
|
c4e029a20a
|
feat: 完成一尘数据采集完整功能
- 一尘爬虫: 列表页解析 + 详情页解析
- 帖子详情: 提取标题/价格/联系方式/时间/内容
- 定时任务: 每天8点/18点自动爬取
- 日报推送: 每天9点推送飞书日报
- 一尘数据: 1800+ 帖子已入库
|
2026-04-04 20:02:13 +08:00 |
|
caibotmi
|
63a5b46791
|
feat: 完成一尘数据采集模块
- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens
|
2026-04-04 18:54:15 +08:00 |
|
caibotmi
|
1a1f7a92fe
|
refactor: 重构 API 架构，规范化命名和响应格式
- 统一响应格式: {code, message, data, timestamp}
- RESTful 路由: /api/v1/collections, /api/v1/prices
- 分页封装: PaginatedData
- 路由模块化: routes/collections.py, routes/prices.py, routes/health.py
- 数据模型: Pydantic models for request/response
- 数据库连接池
- 配置文件: config/config.yaml
- 爬虫模块: crawlers/yichens_spider.py
|
2026-04-04 18:23:00 +08:00 |