Crawler Lab

MY ROLE个人独立设计并实现微博数据采集系统。它以微博热搜为入口，继续采集相关微博和参与用户资料，将不同来源的数据组织成持续运行的采集链路。

IMPLEMENTATION系统获取热搜及热度信息，解析微博正文与互动数据，再提取用户 ID 补充资料；数据分别写入 hot_search、topic_weibo 和 topic_user 三张 MySQL 表，并通过唯一键和增量查询减少重复。

CONTEXT / RESULT这不是单一页面爬虫，而是一套从热搜到内容再到用户的持续采集流程。 补充了自动建表、定时调度、数据库断线重连、Cookie 失效检测、请求间隔控制和互动数据补全，让一次性脚本可以持续运行。