pc to pc / 1:1 direct 10G 연결

Mellanox ConnectX-3 CX311A

(출시된지 10년 넘은 NIC로 중고가 저렴)

하드속도 또한 따라줘야 최대 속도가 나오고 설정값에 따라 속도차가 클 수 있다.

드라이버,펌웨어 >

NVIDIA WinOF-2: Firmware - Driver Compatibility Matrix

Mellanox OFED for Windows - WinOF / WinOF-2 (nvidia.com)

 

A컴. pcie 3.0x4 (글카 슬롯 공유 x16반토막 해서 x8슬롯 사용)                              B컴. pcie 2.0x4

 

 

 

 

처음 설치시 한쪽만 속도 반토막 나서 한참 헤메다가

윈도우 드라이버말고 멜라녹스(현재 nvidia)에서 드라이버 받아서 새로 설치했습니다.

 

MTU,Jumbo packet 값 설정하고 테스트 하니 속도 잘나옵니다.

먼저 jumbo packet 값은 최대값(9614)으로 잡아주고 MTU값은 적용 가능한 최대값 근처로 설정, 

드라이버 속성에 있는 performance에서 default로 튜닝 해줬습니다.

 

 

 

performance 튜닝 옵션 정보는  링크에서 확인하시면 됩니다. 어려운 내용들이라 간단히만 보고 넘겼습니다. 

General Performance Optimization and Tuning - WinOF v5.50.52000 - NVIDIA Networking Docs 

 

아래는 테스트 결과 입니다.

pcie 3.0x4 -> pcie 2.0x4  

속도는 만족 스럽네요.

pcie 2.0x4 -> pcie 3.0x4  

대역폭 최대치는 10G를 오버 하지만 속도차가 조금 납니다.

 

pcie 3.0x1 -> pcie 2.0x4  

x8슬롯을 다시 글카에게 넘겨주고 x1으로 셋팅 했네요. 양쪽 속도차이 거의 없습니다.

 

 

기록용으로 2cpu 포럼에 글 올림 - 10G 1:1 연결. 멜라녹스 드라이버로 하세요. :: 2cpu, 지름이 시작되는 곳!