VMess·VLESS·Trojan·Shadowsocks 프로토콜 비교: 암호화 방식, 전송 계층과 사용 사례

VMess·VLESS·Trojan·Shadowsocks의 인증 방식, 암호화 계층, 전송 방식과 성능 부담을 비교하고 네트워크 환경과 기기 성능에 맞는 프로토콜 선택 기준을 안내합니다.

이 글 미리 보기

구독을 가져왔는데 노드에 연결되지 않는다면 프로토콜만 바꾸지 말고 코어, 전송 방식, 보안 계층부터 확인하세요. VMess와 Shadowsocks는 프로토콜 계층에서 암호화를 제공할 수 있지만, 일반적인 VLESS 설정은 외부 보안 계층에 의존하며 전통적인 Trojan은 TLS 안에서 프록시 인증을 처리합니다. 데스크톱과 Android 기기를 오가거나 같은 네트워크에서 노드를 비교하려는 경우, 먼저 설정 간 호환성을 확인한 뒤 웹페이지 첫 로딩 시간, 대용량 파일 전송 속도, 필요한 UDP 기능을 테스트하세요.

인증과 암호화: 프로토콜별 보호 계층

노드에 연결하려면 클라이언트와 서버가 같은 프로토콜, 인증 정보, 관련 설정을 사용해야 합니다. 비밀번호나 UUID는 신원을 확인하는 정보이지 연결이 암호화됐다는 뜻은 아닙니다. 설정에 TLS가 표시되어도 내부 프로토콜에서 인증을 처리할 수 있습니다.

프로토콜인증 정보암호화 계층호환성 확인 항목
VMessUUID, 최신 설정에서는 VMess AEAD 요청 헤더 사용데이터 암호화는 설정에 따라 다릅니다. AES-128-GCM 또는 ChaCha20-Poly1305를 사용할 수 있으며, 외부 TLS를 추가할 수도 있습니다.UUID, 시스템 시간, 데이터 암호화 옵션, 전송 설정
VLESS일반적으로 UUID일반적인 encryption=none 설정은 프로토콜 계층에서 암호화하지 않으며, 연결 보호 여부는 외부 보안 설정에 달려 있습니다.보안 계층, 전송 방식, 서버가 요구하는 flow를 확인하세요. 확장 기능은 코어 버전도 확인해야 합니다.
Trojan비밀번호에서 파생된 인증 정보전통적인 Trojan은 TLS로 인증 정보와 프록시 데이터를 보호합니다.비밀번호, TLS 서버 이름, 인증서 신뢰 여부, 서버의 실제 포트
Shadowsocks사전 공유 비밀번호 또는 키(방식에 따라 다름)최신 AEAD 방식은 프로토콜 계층에서 암호화와 무결성 보호를 제공하지만, 기본 프로토콜에는 TLS가 포함되지 않습니다.암호화 방식, 키 형식, 양쪽에서 같은 규격을 지원하는지, UDP가 활성화되어 있는지

VMess AEAD는 요청 헤더 방식을 뜻하며, 데이터 암호화에 특정 알고리즘만 사용할 수 있다는 의미는 아닙니다. Shadowsocks도 버전에 따라 다릅니다. 기존 AEAD의 aes-128-gcm과 Shadowsocks 2022의 2022-blake3-aes-128-gcm은 서로 다른 방식입니다. 후자는 해당 규격에 맞는 사전 공유 키가 필요하므로 기존 비밀번호를 그대로 입력해도 호환되지 않습니다.

전송 계층 조합: 포트가 같아도 연결 방식은 다를 수 있습니다

노드 편집 화면에서 ‘프로토콜’, ‘전송 방식’, ‘보안’은 서로 다른 항목입니다. VMess를 예로 들면, 기본 TCP와 WebSocket은 같은 프록시 프로토콜을 사용하지만 연결 방식이 다릅니다. 서버가 WebSocket 경로로 요청을 받도록 설정되어 있다면 클라이언트에도 같은 경로를 입력해야 합니다. UUID가 맞아도 경로가 다르면 연결되지 않습니다.

443
HTTPS 표준 포트입니다. 프록시 노드는 실제 설정을 따르세요.
16바이트
UUID의 바이너리 길이이며 암호화 강도를 나타내는 값은 아닙니다.
  1. 먼저 주소와 포트를 확인하세요. v2rayN 노드 목록에서 해당 항목을 더블클릭한 다음 구독 정보와 대조합니다. TLS가 보인다고 포트를 모두 443으로 바꾸지 마세요. 443은 HTTPS 표준 포트일 뿐, 모든 TLS 서비스가 사용하는 고정 포트가 아닙니다.
  2. 다음으로 전송 설정을 확인하세요. 양쪽에서 WebSocket을 사용한다면 경로와 서버가 요구하는 Host를 대조합니다. 기본 TCP를 사용한다면 다른 노드의 WebSocket 설정을 그대로 가져오지 마세요.
  3. 마지막으로 TLS 이름과 인증서를 확인하세요. 연결 주소, TLS 서버 이름, WebSocket의 HTTP Host는 각각 용도가 다릅니다. 인증서 이름이 일치하지 않는다는 오류가 나면 서버에서 지정한 서버 이름으로 되돌리세요. 오류를 없애려고 인증서 검증을 계속 꺼두지는 마세요.

프로토콜 선택: 작동하는 설정을 유지하고 필요에 따라 변경하세요

하나의 구독에 네 가지 프로토콜 노드가 함께 포함될 수 있습니다. 가져오기에 성공했다는 것은 클라이언트가 항목을 읽었다는 뜻일 뿐, 현재 코어가 각 노드의 전송 방식과 확장 기능을 지원한다는 뜻은 아닙니다. 비교하기 전에 정상 작동을 확인한 기준 노드를 하나 남겨두면 설정 변경에 따른 차이를 파악하기 쉽습니다.

현재 서비스와 유지 관리 여건에 맞춰 선택하기

기존 VMess 설정이 있다면: 작동하는 노드를 유지하세요

권장

안정적으로 작동하는 VMess AEAD 노드가 있다면, 바로 전환하기보다 기준 노드로 활용하는 편이 문제를 찾기 쉽습니다. 기기를 바꾼 뒤 인증 오류가 발생하면 먼저 시스템 날짜와 시간이 자동으로 동기화되는지 확인하고 UUID를 대조하세요.

적합한 경우: 사용할 수 있는 구독이 있고 기기 교체 후 연결 문제를 확인해야 할 때

VLESS: 코어와 보안 계층을 함께 선택하세요

양쪽에서 같은 조합을 지원하고 서버 요구사항에 맞춰 보안 계층을 설정한 경우에만 전환하세요. 일반적인 encryption=none 설정에서 보안 계층을 끄는 것은 일반적인 문제 해결 방법이 아닙니다.

적합한 경우: 코어, 전송 설정, 보안 설정을 확인할 수 있는 환경

Trojan: 유지 관리가 가능한 TLS 서비스가 있을 때

비밀번호뿐 아니라 인증서가 유효하고 이름이 올바른지도 확인해야 합니다. 노드가 이전에는 작동했지만 도메인이나 인증서를 갱신한 뒤 여러 연결이 한꺼번에 실패한다면 비밀번호를 일괄 변경하지 말고 TLS 핸드셰이크부터 확인하세요.

적합한 경우: 인증서와 도메인의 유지 관리 담당자가 명확한 환경

Shadowsocks: 암호화 방식과 UDP 필요 여부를 확인하세요

양쪽에서 AEAD 방식과 키 규격을 일치시킨 뒤 테스트하세요. 앱에서 UDP가 필요하다면 클라이언트가 트래픽을 처리하는지, 서버에서 중계하는지, 현재 네트워크가 UDP를 지원하는지도 확인해야 합니다.

적합한 경우: 양쪽의 방식이 일치하고 추가 전송 계층을 줄이고 싶은 경우

성능 비교: 네트워크 부담과 기기 부담을 구분하세요

웹페이지 첫 로딩이 느리다면 DNS 조회, 연결 설정, 핸드셰이크에 시간이 걸리는 것일 수 있습니다. 대용량 파일 전송 속도가 점점 느려진다면 지속 처리량, 패킷 손실, 기기 부하를 확인할 필요가 있습니다. 노드의 위치, 출구 부하, 테스트 시간이 서로 다르면 각 노드의 실제 사용 경험만 비교할 수 있으며, 이를 근거로 네 프로토콜의 속도 순위를 매길 수는 없습니다.

증상에 맞는 테스트 방법

같은 대상 주소에서 두 가지 성능 테스트

네트워크를 바꾸면 연결이 끊기거나 첫 로딩이 느림
  • 같은 기기, 노드, 대상 주소를 사용해 이용 권한이 있는 두 네트워크에서 각각 테스트하세요.
  • 각 경로에서 새 연결을 5회 시도하고 성공 횟수, 성공한 시도의 중간 소요 시간, 실패 단계가 연결·TLS 핸드셰이크·대상 요청 중 어디인지 기록하세요.
  • 테스트하는 동안 프록시 처리와 라우팅 설정을 동일하게 유지하세요. 한 네트워크에서만 실패한다면 해당 네트워크 경로부터 확인하고, 프로토콜과 노드를 동시에 바꾸지 마세요.
성능이 낮은 기기에서 다운로드가 계속 느림
  • 같은 기기와 네트워크에서 호환되는 설정 두 가지를 번갈아 테스트하세요. 가능하면 같은 데이터센터와 출구를 사용하는 서버를 이용하세요.
  • 같은 테스트 파일을 계속 다운로드하면서 안정적인 전송 속도, 코어 프로세스의 CPU 사용량, 기기의 성능 저하 여부를 기록하세요. 캐시나 일회성 최고 속도만으로 결론 내리지 마세요.
  • 기기에 AES 하드웨어 가속 기능이 있는지에 따라 AES-GCM과 ChaCha20-Poly1305의 성능 비교 결과가 달라질 수 있습니다. 양쪽에서 지원하는 방식만 테스트하고 알고리즘 이름만 보고 속도를 짐작하지 마세요.

먼저 연결 성공률을 확인하고, 이어서 첫 로딩 시간과 지속 전송 속도를 비교하세요. 각 테스트에서는 한 번에 하나의 변수만 바꾸세요.

데스크톱 설정을 Android로 옮길 때는 클라이언트와 코어도 기록하세요. v2rayN은 노드에서 실제 사용하는 코어를 확인해야 합니다. v2rayNG는 Xray, v2flyNG는 V2Fly를 사용합니다. 두 Android 클라이언트가 같은 구독을 읽을 수 있더라도 Xray 전용 확장 기능을 모두 지원한다는 뜻은 아닙니다.

연결 문제 해결: 구독을 가져왔는데 노드가 작동하지 않는 이유

자주 발생하는 증상 4가지

오래된 기기에서는 작동하는 VMess 노드가 새 컴퓨터에서는 왜 계속 인증 오류를 내나요?

먼저 Windows에서 ‘설정’ → ‘시간 및 언어’ → ‘날짜 및 시간’을 열고 자동 시간 설정을 켠 다음 시간을 동기화하세요. 그런 다음 기존 기기와 UUID, 전송 방식, 데이터 암호화 옵션을 대조하세요. 인증 오류를 해결하려고 프로토콜 유형을 바꾸지 마세요.

TCPing 결과가 있는데도 웹페이지가 열리지 않는 이유는 무엇인가요?

TCPing은 원격 포트에 대한 TCP 연결 확인 결과만 보여줄 뿐, 프록시 인증이나 대상 요청은 검증하지 않습니다. v2rayN 노드 목록에서 마우스 오른쪽 버튼을 눌러 실제 연결 지연을 테스트하세요. 테스트는 성공하지만 브라우저에서 계속 실패한다면 ‘설정’ → ‘매개변수 설정’에서 로컬 수신 포트를 확인한 다음 브라우저의 프록시 포트와 현재 라우팅 규칙을 대조하세요.

Trojan 인증서를 갱신한 뒤 연결되지 않는데 비밀번호는 그대로인 이유가 무엇인가요?

먼저 코어 로그에서 인증서 만료, 이름 불일치, 신뢰 오류가 보고되는지 확인하세요. 이어서 서버에서 지정한 TLS 서버 이름을 대조하고, 서버에 새 인증서와 필요한 중간 인증서가 적용되었는지 확인합니다. 핸드셰이크 오류라면 인증 정보를 초기화할 필요 없이 인증서부터 해결하세요.

Shadowsocks로 웹페이지는 열리는데 음성 앱이 계속 재연결되는 이유는 무엇인가요?

웹페이지 테스트가 통과해도 UDP가 작동한다고 볼 수는 없습니다. 먼저 해당 앱이 UDP를 사용하는지 확인한 다음, 앱 트래픽이 클라이언트에서 처리되는지와 서버의 UDP 중계가 활성화되어 있는지 각각 확인하세요. 시스템 프록시만 사용하면 앱이 프록시 설정을 읽지 않을 수 있습니다. 이런 경우 라우팅 및 트래픽 처리부터 확인하세요.

클라이언트 다운로드