创业初期服务器架构5大隐形跃迁坑
|
去年寒假,凌晨三点十七分,笔记本电量剩百分之十几,我盯着监控页上那条突然翘起来的502曲线,手里捏着上一版上线 checklist 打印件——第三页手写补了三行“redis 连接池调大”“nginx 重试逻辑补两层”“CDN 缓存键漏了 UA”。纸边被咖啡渍泡软了,但没人记得这三行是谁写的。会议室投影有道竖线,从左上角直直劈到右下角,老板指着首页说要大气,设计把导航挪到右边,开发说“路由层能扛”,运维没说话,我低头在本子上画了个叉,叉中间写了“/api/v1/user”——那是去年十一月改版时切过去的第一个微服务,也是今年一月崩掉的第一个入口。 第一坑:伪容器化。外包把 docker-compose.yml 扔过来,service 名叫 app,镜像 tag 是 latest,build 脚本里写着 “npm install && npm run build”,但 base 镜像用的是 node:14-alpine,连 tzdata 都没装。上线前三小时,法务部导出合同时区全错成 UTC+0,没人查过 Dockerfile 里 RUN apk add —no-cache tzdata 那行到底有没有执行。有人一直在转笔,笔帽早掉了,剩下光秃秃的塑料杆,在 table 上敲出嗒、嗒、嗒。没人拦。我们信了“容器即环境一致”这句话,像信了门口贴的“今日开业,全场八折”——字是真的,折扣是假的。 第二坑:数据库代理当主库用。新站上线前夜,DBA 把读写分离中间件 proxySQL 的健康检查端口配错了,主库挂了两分钟,proxySQL 没切走流量,反而把所有写请求塞进只读实例,报错全是“ERROR 1290 (HY000): The MySQL server is running with the --read-only option”。那会儿我正扒拉旧站截图——2021 年初建站时留的 index.html 原始版本,footer 里还带着 localhost:3306 的注释。设计稿 V2.3 版右下角标注“需支持实时订单状态轮询”,没人提一句:“轮询间隔 5 秒 × 3w UV = 每秒 1700 次连接”,更没人去翻 proxySQL 的 max_connection_pool_size 是多少。走廊有人在大声打电话:“……对,就是那个带弹窗的!用户点开就卡死!你们是不是没做连接复用?!” 第三坑:CDN 当缓存用,不是当负载用。活动页用的是自建 Node 集群 + Cloudflare 免费层,缓存策略只设了“Cache-Control: public, max-age=300”,但后端接口没加 ETag,Vary 里漏了 Accept-Encoding。元旦那波裂变,流量上来第一件事是 CDN 刷出 38 万条未命中日志,边缘节点 CPU 爆到 99%,Cloudflare 报告里全是 origin timeout。桌上摆了六瓶水,只开了两瓶——一瓶在我左手边,另一瓶在测试同学面前,她刚把 Postman 里那串 /v2/lottery/draw?uid=xxx 的请求复制粘贴进第 17 个 tab。窗户被谁推开一半又关上,带进来一阵冷风,吹得 checklist 纸页哗啦响。 第四坑:S3 当临时文件系统使。市场部上传的活动视频原文件存 S3,URL 直出给前端,但没设生命周期策略;后台系统生成的 Excel 报表也丢进去,key 用的是 timestamp + random(6),没做目录分级。两个月后 S3 bucket 列表页加载要 11 秒,AWS Console 显示“objects: 124,809”,其中 83% 是已失效的临时预览链接。有一次我 curl -I 那些链接,response header 里 Content-Length 是 0,ETag 是 “d41d8cd98f00b204e9800998ecf8427e”,MD5 对得上空文件——可没人删。需求文档 V1.5 版第 8 页写着“附件上传响应 ≤ 2s”,后面括号里补了句:“暂不校验文件有效性”。那括号是我加的,用红笔。 第五坑:日志链路断在网关层。我们引了 OpenTelemetry,Jaeger UI 能看到请求进了 API Gateway,也能看到它转发给了 user-service,但 user-service 内部 trace 就断了。后来发现 nginx ingress controller 配置里丢了 proxy_set_header X-Request-ID $request_id;,下游服务全靠 Math.random() 生成 trace_id。有个监控报警发了七次,标题是“user-get-profile 响应 P99 > 3s”,点进去一看 span 列表只有两层:gateway → user-service,user-service 自己的子 span 全黑着,像被刀切掉。我在本子上画过三次完整调用链,第三次用了三种颜色,最后撕下来贴在显示器边框上,三天后被保洁收走了。
文章配图,仅供参考 我现在把所有 new Server() 都替换成 new Server({ keepAliveTimeout: 5000 }),哪怕只是本地跑 demo。上周又遇到一次 Redis 连接超时,查下来是某 SDK 的默认超时设成了 500ms,但我们在 config 中写了 timeout: 1000,SDK 却优先读了环境变量 REDIS_TIMEOUT,而那个变量是三个月前 QA 在一台测试机上 export 的,一直没清理。我不再问“为什么”,我直接 grep -r 'REDIS_TIMEOUT' ./node_modules,然后删掉前十个匹配结果里最可疑的那个包的 package.json。下一步?我把 CI 流程里原来跑 npm test 的位置,换成了先 exec docker run --rm -v $(pwd):/app -w /app alpine sh -c 'apk add jq && echo $PWD | jq -r',只是为了确保每次构建都真正在容器里跑。其它的——等下次崩完再说。(编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |




