计算机视觉网站扩容难？三步实现存储零冗余

　　去年四月份那会儿，我原以为计算机视觉网站扩容就跟给车加机油似的——拧开盖子倒进去完事。结果被运维同事按在地上摩擦了三天，他举着监控图冲我喊：'看见没？存储池里躺着三十万张重复图片！这他妈比烧机油还费钱！'

　　那天车间风扇转得跟抽风似的，隔壁洗车店的水声隔着墙都能听见。老张蹲在工具车前拆火花塞，手机外放着《爱情买卖》，我蹲他旁边叼着冰棍说：'你说咱们修车跟搞视觉存储有啥区别？不都是拆东墙补西墙？'他抬头白我一眼：'区别大了，你拆个波箱试试，拆完能装回去算我输。'

　　说回正题。那网站扩容卡壳卡了半个月，最后发现是训练集和测试集混在一起了——就像有人把机油和冷却液倒进同一个壶里。运维小哥熬了三个通宵，搞出个三步走方案：第一步用哈希值筛重复，第二步按时间戳分冷热数据，第三步把冷数据塞进对象存储。我盯着屏幕上的进度条问：'这能行？'他拍着键盘说：'优胜劣汰懂不懂？重复的留着占地方，过期的留着吃灰，该删的删该存的存。'

　　风扇突然停了一秒，工具车上的扳手哗啦啦滚下来。老张伸手接住，手套上那块洗不掉的油渍蹭在扳手柄上。他举着扳手说：'就跟我这手套似的，用了三年舍不得扔，结果越用越脏。'我盯着他手套上的油渍，突然想起上周收的那台事故车——大梁都歪了，车主还非要补漆当二手车卖。

文章配图，仅供参考

　　但最坑的是第三步。对象存储选的是某云厂商的，结果第一天就报错——说我们数据量太大，得加钱。运维小哥在群里骂了半小时，最后发现是配置文件里把单位写错了，本来要写TB写成了GB。这就像给车加机油，本来要加4升，结果只加了400毫升，跑半路发动机就炸了。

　　老张这时候凑过来，手机里放着《荷塘月色》。他说：'你们这行比我们修车还麻烦，我们拆个发动机顶多三天，你们扩容能搞半个月。'我指着屏幕上的存储利用率说：'你看现在，从92%降到58%，这他妈不比给车减重还爽？'他盯着数字看了半天，突然说：'那你们能把我那台破车的维修记录也存进去不？省得每次修车都得翻纸单子。'

　　说到失败案例，上个月有个同行搞扩容，直接买了二十块SSD往服务器里塞。结果发现是重复数据太多，新硬盘还没用就满了。他在群里问：'这咋回事？'我回他：'你买机油不买滤芯，发动机能不堵吗？'他回了个哭笑不得的表情，说早知道该先筛重复数据。

　　那天晚上下班，车间那条狗趴在门口睡觉。我摸它脑袋时发现它耳朵上有块疤——估计是上次被工具车撞的。运维小哥发来消息说：'存储利用率又降了，现在49%。'我回他：'优胜劣汰果然有用，重复数据就该像你这条狗耳朵上的疤一样，留着没用还碍事。'他回了个中指表情。

　　现在回头看，那三步方案里最关键的就是'优胜劣汰'这四个字。重复的、过期的、没用的数据，就像修车时拆下来的废零件，该扔就扔该卖就卖。我原以为存储扩容得买新硬件，结果发现优化数据比买硬盘管用多了——就像修车，有时候换个滤芯比换发动机还管用。

　　但话说回来，这方案也不是万能的。上周测试新模型，发现有些冷数据突然被调用了——就像车主突然要开那台放了半年的事故车。运维小哥又得熬夜改脚本，把那些数据从对象存储里捞回来。他说：'这就像给车换冬胎，夏天得换回来，不然油耗高得吓人。'

　　老张这时候在补漆，喷枪的滋滋声混着隔壁洗车店的水声。我蹲在工具车前整理扳手，突然想起运维小哥说的那句话：'存储扩容就跟修车一样，别光想着加东西，得先看看哪些东西该扔。'这话听着简单，做起来难——就像我修了五年车，到现在还分不清哪些螺丝该用10号套筒，哪些该用12号的。

　　现在那网站的存储利用率稳定在55%左右，运维小哥说还能再降。我问他降到多少算完，他说：'降到跟你这台破车的油耗一样低就行。'我低头看了眼仪表盘——15个油，果然比他的存储利用率还高。

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!