※ [本文经硬兔本人同意，转录自 PTT2 的 in2 板，并依约删除推文与其 IP] 作者: [email protected] ([email protected]) 标题: Ptt/Ptt2 历史 (7) 时间: Tue Apr 15 20:24:13 2008 作者: in2 (晚安 地球人) 看板: in2 标题: Ptt/Ptt2 历史 (7) 时间: Mon Apr 14 23:28:06 2008 就後朝修前朝史的惯例, 买了新机器就该写旧机器的历史 XD 上一集据说是 2005 写的了, 趁还记得一些事情来写个回忆录一下 XD 在 2004 年的时候有一些偶然的机会得到了一些赞助, 像是五月天的募款演唱会及一些热心网友和其他, 批踢踢终於有机会换一台像样一点的机器. 顺便小提一点点五月天的募款演唱会, 当然是十分感谢他们五位可以热情相助, 好像当天下午他们在西门町有个签名会之类的, 那边才刚刚结束就搭车赶过来. 但是当天的募款结果真是无比惨烈, 要不是五月天不拿费用, 当天的舞台和灯光音响有其他的厂商出掉, 现场募到的款不要说买机器, 上面的任一个都不够出 /_________________\ 甚至忙了半天隔天有个同学跟我说「我有捐 $10 喔! 很感动吧」 当场就想给他一巴掌 XD 然後隔天我一个人拿了上千个 $1 铜板去存 *爆* 所以後来就没有这种好康的事情了~ :P (要不然我觉得以批踢踢的力量要办这种活动应该不是难事~) 我不知道为什麽一直对 tyan 的主机板有莫名的好感 XD 觉得算是高档产品, 但是价格和 IBM / HP 等大厂比起来相对便宜很多, 而之前批踢踢/ 批踢踢兔几乎都是用这家的, 所以新买的机器也是用 tyan 的 S2882 http://www.tyan.com/archive/products/html/thunderk8spro.html 在那个年代里还没有 dual-core 的 cpu, 用了两颗 opteron 244 (还是 246?) 第一次插了四条 2GB 的 ram 上去, 後来因为又有点款项进来, 又加了另外四条 2GB , 然後就插满不能再加了. 当时记忆体十分贵, 印象中一条 Ecc Registered 2GB 要价是两万七(未税) 插个八条就是二十几万了 Orz 除了换主机板, cpu, ram外, 硬碟当然也是一大重点, 尤其批踢踢的 io 量十分可怕. 在这次的更新中, 把内接用的 scsi cable 接出机器到另外一柜乱叠的硬碟上, 换成用一种占三个 5.25" 的空间, 正面可以直着插五颗 SCSI 80 pin的硬碟架子, 它用背板转成单一 68 pin 的 scsi 讯号, 还外加一堆风扇~ 再把两个这种架子和主机板什麽全部塞到一个超大的直立式机壳内~ 喔~ 这就是为什麽有一段时间冷气一爆的时候, 批踢踢就会当机! XD 因为硬碟/cpu/记忆体再外加 raid card 这些产热超高的东西 都被全部都挤在很小的空间里~ 後来又加了一台外接式的 raid box , 上面可以插 8颗 ide硬碟, 因为差不多是有点过期的产品 (U160) 的, 所以卖家愿意用低一点的价格. 不过它很爱热当机, 而且它只要一热当就需要 reiserfs rebuild tree (大概要 24hr?) 後来的解法是把它的 box 拆开来, 在 raid / scsi chip 上面硬加颗风扇, 它就乖乖的了 :D 之後还有一小点调整, 在最高记录的时候, 一台批踢踢上面接了近两打的硬碟 XD 不断电系统当然是不应该缺席的, 不然如果在尖锋的时候跳电的话听起来就很赞! 当时计算了一下把 ptt/ptt2/pttx 还有 switch 什麽全部插上去, 如果在尖锋时段临时跳电需要紧急把资料写回硬碟, 大概需要十分钟甚至更久才写的完, 所以它所要的电池也是很可怕的, 後来就选了这一款 http://www.apc.com/resource/include/techspec_index.cfm?base_sku=SUA3000RM2U 它这台的插头很有趣, 用的是 NEMA L5-30P , 长的像是 http://www.yung-li.com/images/cat2006/yp-55.jpg 大概有一个拳头这麽大 ^^;;;;;; 一收到机器的时候还不知道要怎麽安装 XD 在比较软体方面上的演进, 包括了从 FreeBSD换成 Linux, 然後就很高兴的采用了平时不需要 fsck , 需要 fsck 就会死很久的 reiserfs XD 另外因为记忆体还是最主要的瓶颈, 就我记得的一共有三个不同的方式省掉大量记忆体. 第一个是使用 HugeTLB , 大概是每个 process 都有一段是记载哪一段(以 page 为单位) virtual address 是 map 到哪一段 physical address 的 table (即 TLB) , 这个 table是每个 process顾自己的, 互相间并不 share. 可是批踢踢的程式有用到一大块 shared-memory (好像是 400MB?) 这麽大块就会有很多 page , 就需要用到很多 pointer , 然後就会占很多记忆体. 那个时候算起来好像 16G 里面有 6G 都是这个资讯 XD 所以解决的办法就是改用 4MB 的 page , 一次就省掉数 G 的记忆体. 第二个是使用 libdiet , 这是一个 glibc 的 replacement , 基本上程式不用改什麽, 改一下 Makefile 就可以冲了~ 比 glibc 省了许多记忆体. 这还有一个小插曲, 在 debian 的 testing (还是 unstable?) 里面 libdiet 的 snprintf() 是爆炸的! 所以有一两回某人 upgrade 所有的 package 後, 整个画面就大爆炸 XD 第三个是改用 ssh 1.2.33 里面的 crypt.c 改出来的 crypt() , 比原本系统内建的少吃很多 (约 100kb) 记忆体. 批踢踢就这麽的跑到了 2008 年, 当时最高记录大概是可以到七万人上下, 把电机系的不良牛, 交大资工的无名小站, kkcity, 甚至对岸的水木清华都远远抛在後头, 开启了记者上批踢踢的历史新页? XD 不过那其实是在硬榨整个系统出来的结果, 越跑整个系统越糟. 最惨的是某组 scsi raid 5有两颗硬碟烂掉, 其中一颗的资料是休息过一阵子就可以读的到, 读太久它就罢工, 所以那次要先 replace掉完全爆炸的硬碟, 慢慢 rebuild (rebuild program 过一阵子就会吱吱叫, 等等再叫它继续又 ok 了 XD) 完成後, 再换上一颗新的硬碟, 重新 rebuild 一次, 然後再 reiserfs rebuild , 真是死的非常惨 Orz (是不是有到 48hrs?) 这次爆炸好像还有上报上电视 Orz 所以, 後来就有新的机器了 :p 新机器又把人数 double 了一倍, 不过那就是下一个故事了~ :P 也许是 2010 年买新机器的时候吧~ 而且不一定是我执笔就是~ :p 就酱 :P (To be continue?? XD) -- ▂▅▇▇▅ ╚╩╯╭○ ╔═══╗ ▃ ◢◢ ▊ ／ ╔═╗╬╦ ╠═══╣╔╦ ╔╦╗╠══╣ ◢ ▃ ██ ▎ ◤◢█◤ ╚╦╝║║ ╚═══╝╯/╗╔╬╗╯╭═╣ ◥◤▌◢◢◢ ▌ ▎◣ ◢▎ ║║║║║ ══╦═╯／ ║╠╬╣╔╬═╗ ◢ ◣ ◣ ╯╝╯╯╚ ╯═╩╩╯ ║║╚╬╝╚╬═○ _ '_ ' _ ◢█＼ ¯◤ ╚╝╰╯╯╰╯╰╯ ◥ ▼ \◤ -- ※ 编辑: Bluesdan 来自: 163.27.69.123 (04/15 20:27)