237899745/zsglpt
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
274 Commits 1 Branch 0 Tags
e725db79a93a1caa0e2d15c52980767c3ba06e53
Commit Graph

74 Commits

Author SHA1 Message Date
yuyx
1389ec7434 安全修复：加固CSRF与凭证保护并修复越权风险 2026-02-16 01:19:43 +08:00
yuyx
7d42f96e42 安全修复: 收敛认证与日志风险并补充基础测试 2026-02-16 00:34:52 +08:00
yuyx
7007f5f6f5 feat: 完成 Passkey 能力与前后台加载优化 
更新说明：\n1. 新增用户端与管理员端 Passkey 登录/注册/设备管理（最多3台，支持设备备注、删除设备）。\n2. 修复 Passkey 注册与登录流程中的浏览器/证书/CSRF相关问题，增强错误提示。\n3. 前台登录页改为独立入口，首屏仅加载必要资源，其他页面按需加载。\n4. 系统配置页改为静默获取金山文档状态，避免首屏阻塞，并优化状态展示为“检测中/已登录/未登录/异常”。\n5. 补充后端接口与页面渲染适配，修复多入口下样式依赖注入问题。\n6. 同步更新前后台构建产物与相关静态资源。
 2026-02-15 23:51:46 +08:00
yuyx
08864e51ba security: harden admin password change and production session headers 2026-02-07 21:37:55 +08:00
yuyx
43f1867033 perf(runtime): switch socketio to eventlet and optimize asset chunk caching 2026-02-07 16:09:21 +08:00
yuyx
ff67a9bbab perf(db): tune sqlite pool and add maintenance scheduler 2026-02-07 12:53:43 +08:00
yuyx
a50294933b perf(stability): add request metrics and resilient API retries 2026-02-07 11:58:21 +08:00
yuyx
bf29ac1924 refactor: optimize structure, stability and runtime performance 2026-02-07 00:35:11 +08:00
zsglpt Optimizer
7e9a772104 🎉 项目优化与Bug修复完整版 
✨ 主要优化成果：
- 修复Unicode字符编码问题（Windows跨平台兼容性）
- 安装wkhtmltoimage，截图功能完全修复
- 智能延迟优化（api_browser.py）
- 线程池资源泄漏修复（tasks.py）
- HTML解析缓存机制
- 二分搜索算法优化（kdocs_uploader.py）
- 自适应资源配置（browser_pool_worker.py）

🐛 Bug修复：
- 解决截图失败问题
- 修复管理员密码设置
- 解决应用启动编码错误

📚 新增文档：
- BUG_REPORT.md - 完整bug分析报告
- PERFORMANCE_ANALYSIS_REPORT.md - 性能优化分析
- LINUX_DEPLOYMENT_ANALYSIS.md - Linux部署指南
- SCREENSHOT_FIX_SUCCESS.md - 截图功能修复记录
- INSTALL_WKHTMLTOIMAGE.md - 安装指南
- OPTIMIZATION_FIXES_SUMMARY.md - 优化总结

🚀 功能验证：
- Flask应用正常运行（51233端口）
- 数据库、截图线程池、API预热正常
- 管理员登录：admin/admin123
- 健康检查API：http://127.0.0.1:51233/health

💡 技术改进：
- 智能延迟算法（自适应调整）
- LRU缓存策略
- 线程池资源管理优化
- 二分搜索算法（O(log n) vs O(n)）
- 自适应资源管理

🎯 项目现在稳定运行，可部署到Linux环境
 2026-01-16 17:39:55 +08:00
yuyx
722dccdc78 fix: 登录路由添加CSRF豁免，解决重启后无法登录的问题 
- 添加 /yuyx/api/login, /api/login, /api/auth/login 路由的CSRF豁免
- 登录本身就是建立session的过程，不需要CSRF保护
- 解决服务重启后旧session导致CSRF验证失败的问题

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-14 13:29:32 +08:00
yuyx
b0fe325154 feat: KDocs 上传增强 + 离线监控 + Bug修复 
KDocs 上传功能增强:
- 搜索优化：只用姓名搜索 + C列验证，避免匹配到错误单元格
- 有效行范围：支持配置起始行/结束行，限制上传区域
- 图片覆盖：支持覆盖单元格已有图片（Escape + Delete）
- 配置持久化：kdocs_row_start/row_end 保存到数据库（v18迁移）

二次登录功能:
- 登录后立即再次登录，让"上次登录时间"显示为刚刚

KDocs 离线监控:
- 每5分钟检测金山文档登录状态
- 离线时发送邮件通知管理员（每次掉线只通知一次）
- 恢复在线后重置通知状态

Bug 修复:
- 任务日志搜索账号关键词报错500：添加异常处理

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-07 23:40:46 +08:00
yuyx
41ead4bead replace screenshot pipeline and update admin 2025-12-31 16:50:35 +08:00
yuyx
46253337eb feat: 实现完整安全防护系统 
Phase 1 - 威胁检测引擎:
- security/threat_detector.py: JNDI/SQL/XSS/路径遍历/命令注入检测
- security/constants.py: 威胁检测规则和评分常量
- 数据库表: threat_events, ip_risk_scores, user_risk_scores, ip_blacklist

Phase 2 - 风险评分与黑名单:
- security/risk_scorer.py: IP/用户风险评分引擎，支持分数衰减
- security/blacklist.py: 黑名单管理，自动封禁规则

Phase 3 - 响应策略:
- security/honeypot.py: 蜜罐响应生成器
- security/response_handler.py: 渐进式响应策略

Phase 4 - 集成:
- security/middleware.py: Flask安全中间件
- routes/admin_api/security.py: 管理后台安全仪表板API
- 36个测试用例全部通过

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-27 01:28:38 +08:00
yuyx
f90b0a4f11 Harden auth, CSRF, and email log UX 2025-12-26 19:05:42 +08:00
yuyx
151fc3e09f perf: 启动预热优化 - 解决容器重启后首批任务慢/失败 
问题：容器重启后前两批任务明显变慢或失败
- 第一批：代理/目标服务器连接冷启动导致超时
- 第二批：浏览器池冷启动需要创建浏览器

解决方案：
- browser_pool_worker.py: 添加 pre_warm 参数，启动时预创建1个浏览器
- api_browser.py: 添加 warmup_api_connection() 预热 TCP/TLS 连接
- api_browser.py: 首次请求使用更长超时(10s)，后续恢复正常
- app.py: 启动时后台调用 API 预热

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-24 01:18:18 +08:00
yuyx
79a571e58d fix: 容器重启后第一批任务失败 
问题：容器重启时账号对象的 is_running 状态未被重置，
导致新任务提交时被拒绝（"任务已在运行中"）

修复：在启动流程中添加遗留任务状态清理逻辑
- 重置所有账号的 is_running/should_stop/status
- 清理活跃任务句柄

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-23 23:32:20 +08:00
yuyx
433a3cb806 fix: avoid blocking browser init 2025-12-18 09:38:02 +08:00
yuyx
a346509a5f 同步更新：重构路由、服务模块，更新前端构建 2025-12-14 21:47:46 +08:00
yuyx
a9c8aac48f fix: 账号页闪烁/浏览类型/截图复制/时区统一 2025-12-14 11:30:49 +08:00
yuyx
2ec88eac3b fix(app): refine account progress and screenshots 2025-12-14 01:21:31 +08:00
yuyx
b4c7a3eac9 fix(app): hide account progress when idle; screenshot uses selected browse_type 2025-12-14 00:56:12 +08:00
yuyx
69443c2de6 feat(app): add announcements, feedback, settings (stage 5) 2025-12-14 00:27:05 +08:00
yuyx
9798ed52c3 feat(app): migrate /app accounts to Vue SPA (stage 3) 2025-12-13 23:56:47 +08:00
yuyx
324e0d614a feat(app): migrate auth pages to Vue SPA (stage 2) 2025-12-13 23:30:51 +08:00
yuyx
34f44eed3e feat(app): scaffold Vue3 frontend (stage 1) 2025-12-13 22:42:31 +08:00
yuyx
6bff5e4d97 fix: stats loader and smtp daily reset 2025-12-13 22:01:12 +08:00
yuyx
235ba28cc8 feat(admin): migrate admin UI to Vue3 2025-12-13 20:51:44 +08:00
yuyx
7015de0055 feat: 添加公告功能 2025-12-13 18:40:42 +08:00
yuyx
d7d878dc08 fix: 内存溢出与任务调度优化 2025-12-13 17:40:36 +08:00
yuyx
9e761140c1 feat: SMTP配额自动重置（北京时间凌晨0点） 
- 添加reset_smtp_daily_quota函数主动重置配额
- 添加定时任务在北京时间00:00自动重置SMTP配额
- 保留被动重置作为备份机制

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-13 04:01:50 +08:00
yuyx
d77595eba0 fix: 修复定时任务日志重复打印问题 
- 添加配置变化检测，只在首次运行或配置变化时打印日志
- 避免每5秒重复打印相同的定时任务设置日志
- 减少日志噪音，提高日志可读性

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-13 03:38:47 +08:00
Yu Yon
b905739515 fix: 修复内存泄漏和僵尸进程问题 
- 添加SIGCHLD信号处理器自动回收僵尸子进程
- 定期清理函数增加僵尸进程回收
- 增加batch_task_screenshots超时清理(30分钟)
- 增加pending_random_schedules超时清理(2小时)
- 修复playwright_automation.py的_force_cleanup使用SIGTERM+waitpid
- browser_installer.py浏览器检测后添加僵尸进程清理

内存占用从111MB降至53MB，僵尸进程从6个降至0个
 2025-12-12 23:42:30 +08:00
Yu Yon
c793999f3c 修复添加账号后不实时显示的问题 
添加账号成功后通过socket推送account_update事件，前端实时更新列表

🤖 Generated with Claude Code
 2025-12-12 15:52:12 +08:00
yuyx
90f503518f 修复bug和清理调试代码 
1. email_service.py: 删除未定义的log_email_send调用（send_email内部已记录日志）
2. app.py: 删除[DEBUG run_task]调试打印语句
3. playwright_automation.py: 删除[调试]诊断日志块

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-12 15:36:36 +08:00
Yu Yon
b15e6f2af0 修复高优先级安全和稳定性问题 
1. app.py:
   - 添加user_semaphores_lock线程锁，修复get_user_semaphore竞态条件
   - 将9处裸except:改为except Exception:或具体异常类型

2. database.py:
   - 将3处裸except:改为except Exception:

3. email_service.py:
   - 添加_smtp_config_lock线程锁
   - 修复daily_sent计数竞态条件：获取配置时预增，失败时回退
   - _get_available_smtp_config和_get_next_available_smtp_config使用锁保护

🤖 Generated with Claude Code
 2025-12-12 15:04:58 +08:00
Yu Yon
8b1014b922 添加任务自动重试机制 
- 任务执行失败（非登录失败）时自动重试，最多重试2次
- 重试间隔5秒，给前端显示状态"等待重试"
- 添加sys模块导入修复

🤖 Generated with Claude Code
 2025-12-12 13:45:34 +08:00
yuyx
9c298928f3 添加自动备注日志 2025-12-12 10:48:36 +08:00
yuyx
db956e2487 自动获取真实姓名作为账号备注（静默完成） 2025-12-12 10:36:47 +08:00
Yu Yon
1072e90070 添加定时任务随机时间执行功能；修复手动执行任务不发送邮件通知 2025-12-12 10:12:27 +08:00
yuyx
264fc9e3f3 fix: 修复批次邮件在截图完成后发送 
之前邮件在run_task线程结束时发送，但截图是异步的，导致截图还没完成就发送了。
现在改为在截图回调中检测，当所有截图完成时才发送打包邮件。

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 23:27:56 +08:00
yuyx
d6fa5b91ea feat: 定时任务截图打包发送邮件 
1. 添加批次任务跟踪机制，收集同一定时任务的所有账号截图
2. 等所有账号执行完成后，将截图打包成ZIP发送一封邮件
3. 邮件包含任务执行详情表格和统计信息

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 23:21:24 +08:00
yuyx
a3b97683ae fix: 使用容器内可用字体生成验证码 
尝试多个字体路径，优先使用Liberation字体

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 22:52:39 +08:00
yuyx
79cf3c2f30 fix: 修复邮箱绑定验证错误及多项改进 
1. 修复email_verified字段缺失导致的500错误
2. 将邮件主题从"知识管理平台"改为"自动化学习"
3. 增大验证码字体（28->42）和图片尺寸（120x40->160x60）

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 22:45:44 +08:00
yuyx
b8abd6e1a2 feat: 添加邮件功能第六阶段 - API浏览任务通知 
在API模式浏览任务完成时（不截图的情况下），也发送任务完成邮件通知

修改位置: app.py run_browse_task函数
- 在enable_screenshot=False时，浏览成功后发送邮件通知
- 复用email_service.send_task_complete_email_async()

至此邮件功能六个阶段全部完成:
1. 邮件基础设施（多SMTP配置、故障转移）
2. 注册邮箱验证
3. 密码重置邮件
4. 任务完成通知（带截图）
5. 用户邮箱绑定
6. API浏览任务通知

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 22:22:07 +08:00
yuyx
29d4bdfbcb feat: 添加邮件功能第五阶段 - 用户邮箱绑定 
1. 添加邮箱绑定验证邮件模板 (templates/email/bind_email.html)
2. 在email_service.py中添加:
   - send_bind_email_verification() 发送绑定验证邮件
   - verify_bind_email_token() 验证绑定Token
3. 在database.py中添加:
   - update_user_email() 更新用户邮箱
4. 在app.py中添加API:
   - GET /api/user/email - 获取用户邮箱信息
   - POST /api/user/bind-email - 发送绑定验证邮件
   - GET /api/verify-bind-email/<token> - 验证绑定Token
   - POST /api/user/unbind-email - 解绑邮箱
5. 更新templates/index.html:
   - 将"修改密码"弹窗改为"个人设置"
   - 添加邮箱绑定/解绑功能UI
   - 显示邮箱状态（未绑定/待验证/已验证）

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 22:20:29 +08:00
yuyx
0ccddd8c63 feat: 添加邮件功能第四阶段 - 任务完成通知 
1. 添加任务完成邮件模板 (templates/email/task_complete.html)
2. 在email_service.py中添加:
   - task_notify_enabled 字段支持
   - send_task_complete_email() 函数，支持附件大小限制和分批发送
   - send_task_complete_email_async() 异步发送函数
   - MAX_ATTACHMENT_SIZE 常量 (10MB)
3. 更新app.py:
   - 邮件设置API支持task_notify_enabled字段
   - 截图回调中集成任务完成邮件发送
4. 更新admin.html:
   - 添加"启用任务完成通知"开关
   - 更新loadEmailSettings/updateEmailSettings函数

附件超过10MB时会自动分两封邮件发送（通知+截图），作为容错机制

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 22:09:59 +08:00
yuyx
93375b612f feat: 添加邮件功能第三阶段 - 密码重置 
实现通过邮件自助重置密码功能：
- 新增发送密码重置邮件API (/api/forgot-password)
- 新增密码重置页面路由 (/reset-password/<token>)
- 新增确认密码重置API (/api/reset-password-confirm)

新增文件：
- templates/email/reset_password.html - 密码重置邮件模板
- templates/reset_password.html - 密码重置页面

修改文件：
- email_service.py - 添加密码重置相关函数
  - send_password_reset_email()
  - verify_password_reset_token()
  - confirm_password_reset()
- app.py - 添加密码重置相关API
- templates/login.html - 忘记密码支持两种方式：
  - 启用邮件功能：通过邮件自助重置
  - 未启用邮件：提交申请等待管理员审核

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 21:58:49 +08:00
yuyx
de8edcb3a6 feat: 添加邮件功能第二阶段 - 注册邮箱验证 
实现注册时的邮箱验证功能：
- 修改注册API支持邮箱验证流程
- 新增邮箱验证API (/api/verify-email/<token>)
- 新增重发验证邮件API (/api/resend-verify-email)
- 新增邮箱验证状态查询API (/api/email/verify-status)

新增文件：
- templates/email/register.html - 注册验证邮件模板
- templates/verify_success.html - 验证成功页面
- templates/verify_failed.html - 验证失败页面

修改文件：
- email_service.py - 添加发送注册验证邮件函数
- app.py - 添加邮箱验证相关API
- database.py - 添加get_user_by_email函数
- app_config.py - 添加BASE_URL配置
- templates/register.html - 支持邮箱必填切换
- templates/login.html - 添加重发验证邮件功能
- templates/admin.html - 添加注册验证开关和BASE_URL设置

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 21:51:07 +08:00
yuyx
966572cc94 feat: 添加邮件功能第一阶段 - 邮件基础设施 
新增功能:
- 创建 email_service.py 邮件服务模块
  - 支持多SMTP配置（主备切换、故障转移）
  - 发送纯文本/HTML邮件
  - 发送带附件邮件（支持ZIP压缩）
  - 异步发送队列（多线程工作池）
  - 每日发送限额控制
  - 发送日志记录和统计

- 数据库表结构
  - smtp_configs: 多SMTP配置表
  - email_settings: 全局邮件设置
  - email_tokens: 邮件验证Token
  - email_logs: 邮件发送日志
  - email_stats: 邮件发送统计

- API接口
  - GET/POST /yuyx/api/email/settings: 全局邮件设置
  - CRUD /yuyx/api/smtp/configs: SMTP配置管理
  - POST /yuyx/api/smtp/configs/<id>/test: 测试SMTP连接
  - POST /yuyx/api/smtp/configs/<id>/primary: 设为主配置
  - GET /yuyx/api/email/stats: 邮件统计
  - GET /yuyx/api/email/logs: 邮件日志
  - POST /yuyx/api/email/logs/cleanup: 清理日志

- 后台管理页面
  - 新增"邮件配置"Tab
  - 全局邮件开关、故障转移开关
  - SMTP配置列表管理
  - 添加/编辑SMTP配置弹窗
  - 邮件发送统计展示
  - 邮件日志查询和清理

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 21:38:28 +08:00
yuyx
f1cd5176de 修复用户和管理员session冲突问题 
问题：在同一浏览器先登录用户再登录管理员时，用户会掉线
原因：管理员登录时使用session.clear()清除了整个session
修复：改为只清除管理员相关的session键，保留用户登录状态

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-11 20:41:53 +08:00