作者hotdogee (hotdog)
看板PC_Shopping
标题[开箱] 打造高阶工作站(6)-平价 16埠 10GbE 网路
时间Sun Jan 13 04:53:30 2019
先用一张图解释为什麽需要 10GbE 网路系统，可实现相当於 SATA SSD 效能的大容
量高容错网路储存系统：
https://i.imgur.com/Ci89WUg.png
前言
====
1990年 10BASE-T 标准使 10Mb/s 区网普及；1995年 100BASE-TX 标准让
100Mb/s 区网普及；1999年的 1000BASE 标准也使 1Gb/s 网路很快普及。在这
短短十年间区网速度进步了 100倍！在 2019年的现今，为什麽我们还卡在 20年前的
有线网路速度？搞到连无线网路速度都要超车了(Wi-Fi 6)。毕竟 10GBASE-SR 标准
早在 2002年就发布，10GBASE-T 也於 2006年就完成了，研发成本都摊提好几倍回
去了，应该要有便宜的10GbE网路设备可以用了吧？至少终於不再是天价了。
设备列表与入手价
===============
交换器 11500元 MikroTik CRS317-1G-16S+RM 16埠10GbE(SFP+)/1埠GbE(RJ45)
交换器 8200元 MikroTik CRS309-1G-8S+IN 8埠10GbE(SFP+)/1埠GbE(RJ45)
交换器 4500元 MikroTik CRS305-1G-4S+IN 4埠10GbE(SFP+)/1埠GbE(RJ45)
网路卡 385元 Mellanox ConnectX-2 MNPA19-XTR 二手/1埠10GbE(SFP+)
DAC铜线 160元 Cisco SFP-H10GB-CU3M 二手/3米/两端内建收发器
DAC铜线 410元 1SFP CAB-10GSFP-5M 5米/两端内建收发器
光收发器 280元 Cisco SFP-10G-SR 二手/850nm多模/300米传输距离/双LC接头
光纤线 189元 10Gtek OM3-LC-LC-D5M 5米/OM3/直径50μm/双LC接头
光纤线 279元 10Gtek OM3-LC-LC-D10M 10米/OM3/直径50μm/双LC接头
光纤线 369元 10Gtek OM3-LC-LC-D15M 15米/OM3/直径50μm/双LC接头
光纤线 759元 10Gtek OM3-LC-LC-D30M 30米/OM3/直径50μm/双LC接头
Cat6收发器 2000元 MikroTik S-RJ10 SFP+转RJ45(10GBASE-T)/30米传输距离
https://i.imgur.com/GShDVtO.jpg
交换器
======
MikroTik是1996年於拉脱维亚成立的软体公司，主要产品是功能强大的RouterOS、
路由器、无线网路设备，在市场上走高CP路线，许多开发中国家大量采用其设备。
Made in Latvia：
https://i.imgur.com/QqGH3R2.jpg
11500元 MikroTik CRS317-1G-16S+RM
https://i.imgur.com/RkdnT3g.jpg
官网：
https://mikrotik.com/product/crs317_1g_16s_rm
主要规格：
* 主被动散热设计，正常运作情况是完全静音，放家里不会被嫌太吵。在环境温度异
常高的情况下才会启用双备援主动散热风扇。
* 内建双备援电源供应器。
https://i.imgur.com/8LAYdWU.jpg
* 可当桌上型(内附防滑贴片)或机架式(内附机架配件)安装。
https://i.imgur.com/2AmM6dZ.jpg
https://i.imgur.com/rkygqY1.jpg
* 16埠 10GbE(SFP+) + 1埠 1GbE(RJ45) 共 17埠 Level 3 管理型交换网路。可
用1GbE Cat5e 网路线连接 ISP 的数据机或现有 wifi 分享器，让 16个 10GbE 设
备连上网际网路。
* 总交换能力 322 Gbps，封包转送率 239 Mpps。
* 802.3ad 动态链路聚合 (LACP)、802.1Q 虚拟区域网路 (VLAN)、硬体实作
802.1S 多重生成树协定 (MSTP)。
* 双核心 800MHz ARM 处理器、1GB RAM。
* 内建 RouterOS (Level6 授权) 与 SwitchOS 双作业系统开机切换
第一次开机预设也是开进功能最完整的 RouterOS Level6 授权，好好一台企业级路
由器被当交换器用，虽然是有点大材小用了，但是如果不需要路由器功能，让他开机
成 SwitchOS 可以加速开机并减少攻击表面。
首次开机预设IP为192.168.88.1
https://i.imgur.com/GAMbMSc.jpg
RouterOS介面
https://i.imgur.com/m6dFFVb.jpg
这里可以设定开机作业系统为SwOS
https://i.imgur.com/ZfGxsdz.jpg
SwOS介面
https://i.imgur.com/hMHDtYR.jpg
在 MikroTik 出这台之前，有在关注 10GbE 高 CP 交换器的板友，大概会查到以下
几台：
11990元 QNAP QSW-804-4C 8埠10GbE/SFP+/非网管型
14990元 QNAP QSW-1208-8C 12埠10GbE/SFP+/非网管型
24150元 NETGEAR XS708E 8埠10GbE/RJ45/网管型
39999元 Zyxel XS1920-12 12埠10GbE/RJ45/网管型
48000元 D-Link DXS-1210-12SC 10埠10GbE/SFP+/网管型
57750元 NETGEAR XS716E 16埠10GbE/RJ45/网管型
MikroTik CRS317-1G-16S+RM 11500元几乎是市场上其他 16埠交换器的四分之一价
格了。
如果只有 4台以内的装置需要 10GbE，MikroTik CRS305-1G-4S+IN 4500元的
市价，大幅降低进入 10GbE 世界的门槛，应该会是许多小家庭的首选。
网路卡
======
500元以内的 10GbE SFP+ 二手网路卡，最近市场大量释出中。10GbE 网卡不像
1GbE 是 Intel 独大，事实上 Mellanox 与 Chelsio 时常是更好的选择，下单前
建义简单确认一下预计使用的作业系统支援度，与预计只用的线材转换器的相容性。
385元 Mellanox ConnectX-2 EN MNPA19-XTR 二手/1埠10GbE(SFP+)
https://i.imgur.com/rVvRemK.jpg
主要规格：
* 这张我装过 Windows 10, Ubuntu 18.10, Fedora 29, CentOS 7.5,
FreeNAS 11.2, Synology DSM 6.2 都随插即用，这张卡在几个作业系统不需要额
外找寻与安装驱动程式，也不需要做什麽特别的设定。
https://i.imgur.com/mzoECms.jpg
* Low Profile 安装在小型 NAS 内也可以。
* 以色列制造。
https://i.imgur.com/9mJZGaX.jpg
* 只有 PCIe 2.0，只要注意不要插在实际上只有 PCIe x2 的 x8 插槽就好，至少
需要 x4，否则会无法跑全速 (约只有 800MB/s，而非应有的 1100MB/s)。
* 单孔 SFP+，接头有 10pin。
https://i.imgur.com/PqfYTD0.jpg
其他考虑产品：
800元 Mellanox ConnectX-3 EN MCX311A-XCAT 二手/1埠10GbE(SFP+)
官网：
https://goo.gl/cOc3C (PDF)
这张比较新也贵了一倍，换来的是 PCIe 3.0，插槽有 x2 即可跑全速
2950元 ASUS XG-C100C RJ45/10GBASE-T
这种用传统网路线的 10GbE 网路卡没有二手洋垃圾可买，所以变成贵 3~7倍，除非
有特殊需求(例如建物墙内已经拉好 CAT6/7 的线路)，不会买这种卡。
线材与收发器
============
在 10GbE 的世界里，相对於只跑 10GBASE-T 的 RJ45 埠，SFP+埠可藉由选用不同
的收发器支援多种光纤与铜线10GbE协定，我自己用了以下三种：
https://i.imgur.com/Io8LkBX.jpg
10GBASE-CR
----------
160元 Cisco SFP-H10GB-CU3M 二手/3米/两端内建被动式收发器
https://i.imgur.com/ILPw5Rg.jpg
410元 1SFP CAB-10GSFP-5M 5米/两端内建被动式收发器
10GBASE-CR是双轴铜缆的 10GbE 协定，又称 Direct Attach Copper (DAC) 或
Twinaxial (Twinax)，当装置到交换器距离 5M 以内，这是最高 CP 的线材。被动
式最长 7M，主动式最长 15M，但是主动式线材的价格比一条同长度的光纤线加两个光
收发器还贵。
2000元 10Gtek SFP-H10GB-ACU10M 10米/两端内建主动式收发器
3000元 10Gtek SFP-H10GB-ACU12M 12米/两端内建主动式收发器
10GBASE-SR (Short Range)
------------------------
280元 Cisco SFP-10G-SR 二手/850nm多模/300米传输距离/双LC接头
https://i.imgur.com/Oduz8Ma.jpg
https://i.imgur.com/gN7hvLK.jpg
https://i.imgur.com/w4M7yOG.jpg
https://i.imgur.com/zG2hIVq.jpg
https://i.imgur.com/llCTiLX.jpg
189元 10Gtek OM3-LC-LC-D5M 5米/OM3/直径50μm/双LC接头
279元 10Gtek OM3-LC-LC-D10M 10米/OM3/直径50μm/双LC接头
369元 10Gtek OM3-LC-LC-D15M 15米/OM3/直径50μm/双LC接头
759元 10Gtek OM3-LC-LC-D30M 30米/OM3/直径50μm/双LC接头
https://i.imgur.com/TfmxOsp.jpg
https://i.imgur.com/xcI7Wbw.jpg
10GBASE-SR 这是短距离光纤的标准，使用多模光纤线材与850nm雷射收发器，OM3光
纤最长距离为 300M。
如果需要连接两栋建筑物也可选用长距离光纤标准 10GBASE-LR (Long Range)，使
用单模光纤线材与 1310nm 雷射收发器，最长距离为 10KM。另有 10GBASE-ER 可
达 40KM；10GBASE-ZR 可达 80KM。
10GBASE-T
---------
2000元 MikroTik S-RJ10 SFP+转RJ45(10GBASE-T)/30米传输距离
如果有连接 10GBASE-T 设备的需求(例如：主机板本身已内建 10GBASE-T 网路孔且
板子上所有 PCIe 插槽都插好插满了)，就可以靠 SFP+ 转 RJ45 收发器连上交换
器。只是目前的价格还是篇高，一个洞要价 2000元。
采购
====
MikroTik CRS317-1G-16S+RM 在台湾有好几间小型代理商/进口商，但是价格约落
在 15000 左右，官方定价美金 $399，国外卖场市价都比官方定价低，所以我自己是
选择直接从国外买进。
台湾身处世界两大贸易国中间，不要浪费这个先天上的地理优势，美亚、淘宝、eBay
比较後的价差甚至足以多买一两个备品，自己的保固自己做，坏了马上换，省下送修
的来回时间损失。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 218.161.79.70
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PC_Shopping/M.1547326416.A.5B8.html
1F：推 mizumutsuki : 推一个 01/13 06:28
2F：推 qwe753951 : 趁1212入手了个CRS305，四千有找 01/13 06:49
3F：→ qwe753951 : 建议别买sfp+转rj45的头，价格贵，相容性差 01/13 06:55
4F：推 pttresident : 原来是以前在wow版看过的hotdogee大大；先跪再看 01/13 07:16
5F：推 siegfriedlin: 推用心 刚好需要这篇 不过公司8台懒得换线了 01/13 07:58
6F：推 niverse : 已跪...... 01/13 07:58
7F：推 siegfriedlin: 为避免过於复杂 可能选是会选8埠RJ45的机种 先谢 01/13 08:03
8F：推 hcwang1126 : 推 01/13 08:11
9F：推 Jay915 : 推 01/13 08:16
10F：→ eva19452002 : 区网100Mb就够用了吧 01/13 08:21
11F：推 LHT : 真要说有人只上外部网 都掉到10M还说没感觉(? 01/13 08:53
12F：推 arrenwu : 10Mb/s 这个看影片会有感觉吧？ 01/13 08:57
13F：推 OK8066889 : 推 超有用 01/13 09:02
14F：推 maniaque : 版主版主!!! 快快快,怎能让这一篇没有 m ???? 01/13 09:23
15F：→ maniaque : 区网? 100Mb ? 若你单台连internet 当然没感觉 01/13 09:24
16F：→ maniaque : 若环境大到有中阶 nas + 数台桌电/笔电 插 LAN 01/13 09:24
17F：→ maniaque : 就有效果在... 01/13 09:24
18F：推 dou0228 : M牌低阶SFP+ 完全不推 相容性问题 01/13 09:25
解决 相容性问题 的办法是采购前先研究好前人经验，花点时间事前规划，
可省下好几倍的钱。国外有个"在家用企业资讯设备"的社群/论坛助我良多，
Serve The Home 简称 STH：
https://www.servethehome.com/
https://forums.servethehome.com/index.php
19F：→ robin80829 : 用100传算图资料直接瘫软在地乐 01/13 09:32
20F：推 fake0824 : 推! 01/13 09:40
21F：推 bill22413 : 详细推 01/13 09:52
22F：→ crono0 : 会说区网100Mb够的 网路需求基本不高吧 01/13 10:29
23F：→ crono0 : 自已单人用1G区网对NAS都不太够 01/13 10:31
24F：→ crono0 : 只是单人用改10G预算也高 家用有点浪费 01/13 10:32
25F：推 jeff40108 : mikrotek极粪 01/13 10:52
26F：→ jeff40108 : 建议别用 01/13 10:52
27F：→ jeff40108 : 一分钱一分货 01/13 10:53
28F：→ willy10207 : 100M 会说够用的应该是没玩过家用网路... 01/13 10:59
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 11:23:11
29F：推 mkzkcfh : 请问网路上的芳邻怎麽用 01/13 11:22
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 13:08:30
30F：→ hcwang1126 : 要注意有些1G设备接10G不相容的鸟问是自 01/13 11:30
31F：推 nucleargod : 推，10G网路就是要用光纤啊，cat7 反而贵 01/13 11:56
32F：→ fonzae : 笑死,网路卡就是走L3,还有人在问网路上芳邻怎麽用 01/13 12:03
33F：→ fonzae : 当作原PO买HBA Card喔 01/13 12:03
34F：→ fonzae : 而且Cat6有支援10G好嘛!只是距离受限 01/13 12:04
35F：→ fonzae : 买多模光纤是比较便宜的作法 01/13 12:05
36F：→ fonzae : 1G够用吗? 这种资讯轰炸的世代 01/13 12:06
37F：→ fonzae : 我想不出加速传输有不好的点? 01/13 12:06
38F：→ fonzae : Mikrotik 10G sw没用过,目前只用过Router 01/13 12:07
39F：→ fonzae : 可以请原PO 用ipperf原PO 用iperf测看看 01/13 12:08
MTU=1500
https://i.imgur.com/KmeWP9o.png
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 10.9 GBytes 9.40 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 10.9 GBytes 9.36 Gbits/sec receiver
MTU=9000
https://i.imgur.com/KgGXiAf.png
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 11.5 GBytes 9.89 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 11.5 GBytes 9.85 Gbits/sec receiver
以上用 iperf3 预设参数结果，如果有特别参数想测欢迎提供罗。
40F：→ fonzae : 10G内网是要慢慢导入,其实网路卡不贵 01/13 12:09
41F：→ fonzae : 周边建置才是重点 01/13 12:10
42F：→ YouCantGetME: Aquantia用10M+ 5e也能跑 只是暗管还是俗辣用C6a 01/13 12:26
43F：→ YouCantGetME: 用在办公室影音编辑很划算 C7,S/FTP接地乾净才能用 01/13 12:30
44F：推 w180112 : mellanox-3才800？ 我怎麽看到的都2000多 01/13 12:31
45F：→ w180112 : 顺便问有connectx-3 pro可信任便宜购买管道吗 01/13 12:32
46F：→ w180112 : 我最近在淘宝买一张结果收到的是没有pro的 01/13 12:33
47F：推 jonaswang01 : 强者！ 01/13 12:35
48F：推 w180112 : 再问一个 我怎麽都找不到有现货便宜的的CRS305 01/13 12:59
49F：→ w180112 : 有版友知道管道吗 感谢 01/13 12:59
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 13:14:04
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 14:04:19
50F：推 aries5420 : 弄一组一台pc一台nas要多少钱 01/13 14:02
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 14:35:35
51F：推 a2470abc : 我是已经做好10gbps环境准备 现在只差交换器价格... 01/13 15:34
52F：→ a2470abc : . 01/13 15:34
53F：推 homer00 : 好奇里面chip用谁的 01/13 15:48
Marvell Prestera 98DX8216
https://goo.gl/vLj9gK (PDF)
※ 编辑: hotdogee (218.161.79.70), 01/13/2019 15:53:21
54F：推 FTICR : 推用心！ 01/13 18:22
55F：推 memphis : 天阿...这麽多年这主题还有继续 真感动 T_T 01/14 00:01
56F：推 memphis : 要更新到blog上吗? 01/14 00:07
57F：推 wei115 : 这主题XD，从当年只能流口水，到现在都买了洋垃圾 01/16 02:38
58F：推 Windcws9Z : 推 01/16 12:10
有几位板友问 MikroTik CRS305-1G-4S+IN 哪里能买到接近官方定价 $149 美金的
价格，目前在淘宝上有现货的都已经被拉到 1300 RMB 左右，但有两家要等到三月
初才有货的预购价格是 890 RMB (约4100元)。
※ 编辑: hotdogee (218.161.79.70), 01/16/2019 15:38:17
59F：推 soto2080 : 比较想知道connectx价格是在哪边拿的 01/16 17:02
去国外购物网站直接搜寻型号应该不难找：
https://i.imgur.com/nO5CgNZ.jpg
60F：推 soto2080 : 感谢 01/18 21:51
新增8Port交换器：MikroTik CRS309-1G-8S+IN
※ 编辑: hotdogee (218.161.79.70 台湾), 07/05/2019 00:51:33
※ 编辑: hotdogee (218.161.79.70 台湾), 04/14/2020 03:41:52