Bộ nhớ đệm và dấu vân tay truyền tải
Việc giữ nguyên truyền tải chỉ tự động trong các kết nối HTTPS có bật bộ nhớ đệm. Khi không có hậu tố bộ nhớ đệm, Litport để CONNECT ở dạng opaque và không kết thúc kết nối TLS của client. Với chế độ bộ nhớ đệm, Litport cố gắng tái tạo hình dạng dấu vân tay được hỗ trợ trên các lượt miss và bypass hướng tới máy chủ gốc; đầu vào không được hỗ trợ dùng một hồ sơ TLS chuẩn đã xác minh thay thế. Một lượt hit bộ nhớ đệm không tạo kết nối nào tới máy chủ gốc.
Tính năng này giảm các khác biệt về truyền tải do việc đánh chặn HTTPS gây ra. Nó không giả mạo một client khác: curl vẫn là curl, Chrome vẫn là Chrome, và một ứng dụng di động giữ các đặc điểm tương thích mà Litport thực sự quan sát được từ ứng dụng đó.
Chính xác khi nào nó chạy#
Hậu tố mật khẩu hiện có bật cả bộ nhớ đệm lẫn việc giữ nguyên hình dạng truyền tải:
PASSWORD_cache-images,fonts
PASSWORD_cache-all_cacheduration-30
Litport cố gắng giữ nguyên khi tất cả điều kiện sau đều đúng:
- Client dùng endpoint proxy HTTP của Litport và gửi
CONNECTcho đích HTTPS. - Mật khẩu chứa hậu tố bộ nhớ đệm hợp lệ và xác thực thành công.
- Bộ nhớ đệm và certificate authority của hub đã sẵn sàng, nên Litport chấp nhận việc đánh chặn cho bộ nhớ đệm.
Nếu mật khẩu không có hậu tố bộ nhớ đệm, đường hầm CONNECT vẫn ở dạng opaque. Litport chuyển tiếp các TLS record và các byte HTTP đã mã hóa của client mà không đọc hay viết lại chúng. “Không đổi” nói về truyền tải ứng dụng đi qua Litport: đích vẫn thấy IP đầu ra của proxy đã chọn và hành vi TCP/IP của đầu ra đó, không phải danh tính mạng cục bộ của khách hàng.
Nếu việc đánh chặn cho bộ nhớ đệm không thể được chấp nhận trước khi CONNECT bắt đầu, Litport giữ nguyên đường opaque hiện có. Đích HTTP thường, đầu vào SOCKS5 và HTTP/3/QUIC không thuộc tính năng này.
Điều gì xảy ra trên đường truyền#
Một CONNECT có bật bộ nhớ đệm có hai kết nối TLS độc lập:
client ── TLS leg 1 ──> Litport hub ── TLS leg 2 ──> verified HTTPS origin
Litport CA cache public Web PKI
Việc triển khai xử lý chúng theo thứ tự này:
- Quan sát ClientHello. Một bộ quan sát có giới hạn, chỉ dùng bộ nhớ, ghép lại thông điệp TLS handshake đầu tiên qua nhiều TLS record trong khi chuyển đúng đầu vào đó cho ngăn xếp TLS chuẩn đã xác minh. Các byte thu được chỉ tồn tại trong CONNECT đó và không bao giờ được dùng làm vật liệu mật mã.
- Hoàn tất bắt tay với client. Client xác minh chứng chỉ đích do CA bộ nhớ đệm của Litport cấp. Litport xác minh rằng TLS SNI khớp với authority của CONNECT đã xác thực.
- Phân tích HTTP an toàn. ALPN đã thỏa thuận chọn máy chủ HTTP/1.1 hoặc HTTP/2 phía vào. Các bộ quan sát có giới hạn chỉ giữ lại thứ tự và cài đặt kết nối cần thiết để tái tạo.
- Kiểm tra bộ nhớ đệm cục bộ. Một lượt hit được trả về ngay. Không có socket tới máy chủ gốc, ClientHello, yêu cầu HTTP hay dấu vân tay phía đích nào cho lượt hit đó.
- Giữ tuyến đã chọn. Một lượt miss hoặc bypass được đánh chặn mở kết nối tới máy chủ gốc qua cùng tuyến, sản phẩm, pool, địa lý và đường tính phí của Litport đã được chọn cho yêu cầu đó. Việc giữ nguyên không bao giờ tự thực hiện một tuyến DNS trực tiếp vòng qua proxy.
- Tạo TLS mới tới máy chủ gốc. Litport làm sạch hồ sơ đã quan sát, tạo giá trị mật mã mới, xác minh hostname và chuỗi chứng chỉ của máy chủ gốc, và đề nghị các giao thức đã quan sát tương thích. Kết quả ALPN của máy chủ gốc chọn HTTP/1.1 hoặc HTTP/2 trên chính kết nối đang chạy đó.
- Tuần tự hóa yêu cầu. Litport phát ra hình dạng HTTP được hỗ trợ, truyền luồng nội dung yêu cầu và phản hồi, và áp dụng các quy tắc thông thường về bộ nhớ đệm và tính byte đã giải mã.
Không có ClientHello thô, khối header, giá trị JA3/JA4 hay mã định danh hồ sơ theo từng client nào được ghi vào bộ lưu trữ lâu dài hoặc log vận hành.
Điều gì được giữ nguyên, và điều gì phải mới#
Hình dạng ClientHello của TLS#
Với một ClientHello được hỗ trợ, Litport giữ nguyên cấu trúc quan sát được tương thích, chẳng hạn:
- thứ tự phiên bản giao thức và cipher suite;
- thứ tự extension và nội dung extension tương thích an toàn;
- thứ tự supported-group, signature-algorithm, point-format và ALPN;
- thứ tự nhóm key-share, các lựa chọn nén chứng chỉ, vị trí GREASE và padding tương thích.
Mỗi kết nối tới máy chủ gốc có client random, session ID và key share mới. Litport gỡ các PSK identity và binder, chỉ giữ lời đề nghị session-ticket rỗng khi extension đó có mặt, và không phát lại early data, TLS cookie hay vật liệu gắn với kết nối khác. Một placeholder GREASE ECH được tạo lại an toàn ở cùng vị trí; payload ECH thật không được phát lại. Các extension opaque mặc định bị từ chối; ngoại lệ đã được xem xét là cặp extension OpenSSL rỗng, không giữ trạng thái mà các bản build curl phổ biến dùng.
Hình dạng HTTP/1.1#
Litport giữ nguyên thứ tự và kiểu chữ gốc của các trường còn lại sau khi proxy làm sạch,
kể cả vị trí các trường lặp. Thông tin xác thực chỉ dành cho proxy luôn bị gỡ. Khung thông điệp
được dựng lại từ nội dung đã phân tích, nên Content-Length hoặc Transfer-Encoding vẫn hợp lệ ngay cả khi
vị trí và kiểu chữ đã quan sát được vẫn giữ lại được. Các trường chỉ do bộ phân tích HTTP thêm vào không bị nhầm
là đầu vào của client hay chuyển tiếp như một phần của hình dạng, và Litport không thêm User-Agent mặc định khi
client không gửi.
Upgrade, Expect: 100-continue, khung sai định dạng hoặc bộ quan sát/bộ phân tích không khớp sẽ dùng
cách tuần tự hóa HTTP chuẩn xác định. Chúng không khiến Litport đổi hồ sơ TLS giữa chừng
trong một CONNECT.
Hình dạng HTTP/2#
Litport giữ nguyên thứ tự và giá trị SETTINGS ban đầu được hỗ trợ, hành vi WINDOW_UPDATE của kết nối,
các frame PRIORITY trước yêu cầu, độ ưu tiên HEADERS theo từng yêu cầu, thứ tự pseudo-header và thứ tự
các trường thông thường. Một trường Cookie đơn vẫn là một trường thay vì bị tách tại dấu chấm phẩy, và một
User-Agent vắng mặt vẫn vắng mặt. Yêu cầu không có nội dung kết thúc ở frame HEADERS ban đầu thay vì
có thêm một frame DATA rỗng giả tạo. Siêu dữ liệu yêu cầu được cô lập theo từng stream nên các yêu cầu đồng thời
không thể mượn hình dạng của stream khác.
Byte HPACK chính xác và lịch sử bảng động không phải là cam kết tương thích. Phản hồi, lượt hit bộ nhớ đệm, đồng thời và việc tái sử dụng kết nối có thể làm hai lịch sử nén khác nhau ngay cả khi cùng các trường xuất hiện theo cùng thứ tự.
Ranh giới triển khai#
Trạng thái giữ nguyên thuộc về một CONNECT đã xác thực. Nó không bao giờ được chia sẻ giữa các khách hàng, token, authority đích hay các kết nối client về sau.
| Giai đoạn | Giới hạn và vòng đời | Nếu không thể tái tạo an toàn điều đã quan sát |
|---|---|---|
| ClientHello | Tối đa 64 KiB, chỉ trong bộ nhớ, cho CONNECT hiện tại | Dùng một hồ sơ TLS chuẩn đã xác minh cho CONNECT đó |
| Quan sát yêu cầu HTTP/1.1 | Tối đa 72 KiB cho một khối header |
Dùng cách tuần tự hóa HTTP/1.1 xác định trên danh tính TLS đã chọn |
| Quan sát kết nối HTTP/2 | Tối đa 64 KiB từ client preface đến frame HEADERS đầu tiên | Dùng mặc định HTTP/2 xác định trên danh tính TLS đã chọn |
| Kết nối tới máy chủ gốc | Một pool HTTP/1.1 hoặc HTTP/2 riêng thuộc CONNECT hiện tại | Đóng pool khi CONNECT kết thúc; không bao giờ chia sẻ lịch sử TLS hay nén với client khác |
Với HTTP/1.1, bộ quan sát theo dõi các nội dung có độ dài cố định và chunked, kể cả trailer, nên các byte bên trong một nội dung không thể bị nhầm là yêu cầu pipeline tiếp theo. Trước khi áp dụng một chuỗi trường đã quan sát, Litport đối chiếu phương thức, đích yêu cầu và số lượng trường/giá trị chuẩn hóa với yêu cầu đã phân tích. Các trường xác thực proxy bị gỡ bất kể vị trí đã quan sát.
Với HTTP/2, Litport kết hợp hai góc nhìn. Một bộ quan sát ở cấp frame thu SETTINGS ban đầu, WINDOW_UPDATE của kết nối và các frame PRIORITY trước yêu cầu. Bộ giải mã HTTP/2 chỉ gắn thứ tự pseudo-header, thứ tự trường thông thường và độ ưu tiên HEADERS của stream hiện tại vào ngữ cảnh trong bộ nhớ của yêu cầu đó. Truyền tải tới máy chủ gốc sau đó dùng các giá trị này trên stream tương ứng, nhờ vậy các yêu cầu đồng thời không mượn thứ tự hay độ ưu tiên của nhau.
Khi CONNECT của client kết thúc, Litport đóng cả pool giao thức lẫn mọi socket thô tới máy chủ gốc thuộc về nó. Điều này cũng chấm dứt vòng đọc HTTP/2 vẫn đang kết thúc stream cuối cùng; nó không thể tồn tại tiếp và trở nên khả dụng cho một CONNECT sau đó.
Socket tới máy chủ gốc luôn được mở qua tuyến upstream đã chọn của Litport. Việc xác minh hostname và chuỗi công khai vẫn được bật. Engine HTTP được chọn từ kết quả ALPN của máy chủ gốc trên chính socket đó; Litport không kết nối lại chỉ để lấy giao thức ưa thích. Nếu client HTTP/2 tới một máy chủ gốc chỉ có HTTP/1.1, yêu cầu dùng HTTP/1.1 có thứ tự.
Vì sao không thể có dấu vân tay hoàn toàn giống hệt#
Việc đánh chặn TLS không thể giữ nguyên toàn bộ kết nối từng byte một. Litport là một máy chủ TLS đối với client và một client TLS riêng đối với đích. Dùng lại bí mật của kết nối đầu tiên trên kết nối thứ hai là không hợp lệ và không an toàn.
Những điều sau nhất thiết khác nhau hoặc có thể lệch:
| Tín hiệu | Vì sao không thể giống hệt |
|---|---|
| TLS random, key share, binder và transcript | Chúng gắn về mặt mật mã với một lần bắt tay. |
| Session ticket, PSK identity và 0-RTT | Một ticket được cấp cho chặng client-tới-Litport không hợp lệ ở máy chủ gốc. |
| Chứng chỉ máy chủ và ServerHello | Client thấy chứng chỉ đích do Litport cấp; Litport thấy chứng chỉ công khai của máy chủ gốc. |
| TCP SYN, địa chỉ nguồn và ngăn xếp hệ điều hành | Kết nối tới đích bắt nguồn từ đầu ra của proxy đã chọn. |
| TLS record, kích thước gói và thời gian | Việc đệm, định tuyến, tra cứu bộ nhớ đệm, lập lịch và điều kiện mạng tạo ra các ranh giới mới. |
| Kiểm soát luồng HTTP/2, tái sử dụng và lịch sử HPACK | Các lượt hit đưa yêu cầu ra khỏi chặng tới máy chủ gốc và hai kết nối phát triển độc lập. |
Vì vậy cam kết trung thực là giữ nguyên hình dạng dấu vân tay truyền tải ở mức tương thích, không phải giữ nguyên toàn bộ dấu vân tay. Nó nhắm tới các đặc điểm ổn định mà JA3, JA4 và nhận diện dấu vân tay HTTP/2 thường dùng, đồng thời giữ mọi vật liệu gắn với kết nối luôn mới.
Quy tắc dự phòng và lỗi#
An toàn được ưu tiên hơn sự giống nhau:
- Một lần thu thập được hỗ trợ dùng hồ sơ TLS đã làm sạch và được giữ nguyên cho mọi kết nối tới máy chủ gốc thuộc về CONNECT của client đó.
- Một ClientHello quá lớn, sai định dạng hoặc không an toàn dùng hồ sơ TLS chuẩn đã xác minh cho toàn bộ CONNECT đó. Litport không bao giờ luân phiên hai danh tính TLS trong một đường hầm của client.
- Siêu dữ liệu HTTP riêng của từng yêu cầu có thể quay về cách tuần tự hóa chuẩn xác định mà không đổi hồ sơ TLS đã chọn của CONNECT.
- Nếu một lần bắt tay đã giữ nguyên với máy chủ gốc đã gửi byte và thất bại, Litport trả lỗi máy chủ gốc. Nó không thử lại với một ClientHello mâu thuẫn hay làm yếu việc xác minh chứng chỉ.
- Mọi kết nối tới máy chủ gốc bị giới hạn ở authority CONNECT đã xác thực và vẫn dùng tuyến upstream đã chọn.
Khách hàng thấy hit, miss và bypass của bộ nhớ đệm, cùng số byte miễn phí và mức tiết kiệm, trong Thống kê lưu lượng và API token. Việc giữ nguyên truyền tải không có trạng thái theo từng yêu cầu dành cho khách hàng.
Hành vi theo client và giao thức#
| Client hoặc giao thức | Hành vi khi bật bộ nhớ đệm |
|---|---|
| curl, SDK và các client dòng lệnh | Chạy khi tiến trình đó tin cậy chứng chỉ gốc bộ nhớ đệm của Litport. Hình dạng TLS/HTTP tương thích của chính chúng được tái tạo; chúng không bị đổi thành trình duyệt. |
| Chrome, Firefox và tự động hóa trình duyệt | Hình dạng HTTP/1.1 và HTTP/2 có thể được giữ nguyên. Hồ sơ trình duyệt phải tin cậy chứng chỉ gốc của Litport mà không tắt việc kiểm tra chứng chỉ. |
| Ứng dụng Android và iOS do bạn kiểm soát | Chạy khi cấu hình tin cậy hiệu lực của ứng dụng chấp nhận chứng chỉ gốc của Litport và ứng dụng không ghim chứng chỉ đích. |
| Ứng dụng ghim chứng chỉ | Việc đánh chặn cho bộ nhớ đệm thất bại theo thiết kế. Hãy bỏ hậu tố bộ nhớ đệm để dùng đường hầm opaque. |
| ECH thật | Payload mã hóa của nó gắn với cấu hình máy chủ gốc ban đầu và không thể phát lại trên chặng TLS riêng của Litport tới máy chủ gốc; việc đánh chặn cho bộ nhớ đệm không được hỗ trợ. |
| HTTP/3/QUIC | Không thuộc đường bộ nhớ đệm TCP CONNECT. Ứng dụng có thể thỏa thuận HTTP/2 thay thế. |
| HTTP thường và SOCKS5 | Không bao giờ bị tính năng này đánh chặn. Chúng giữ hành vi không dùng bộ nhớ đệm hiện có. |
Xem thiết lập chứng chỉ để biết hướng dẫn tin cậy cho từng client.
Xác minh bằng endpoint dấu vân tay#
Để kiểm tra ngoài tùy chọn, hãy gửi một yêu cầu opaque và một yêu cầu được đánh chặn có bật bộ nhớ đệm qua cùng một hub. Endpoint dưới đây trả về các quan sát JA3, JA4, HTTP/2 và TCP:
# Opaque: Litport does not terminate TLS
curl --proxy 'http://hub-us-7.litport.net:PORT' --proxy-user 'USER:PASSWORD' \
'https://tls.peet.ws/api/all'
# Intercepted bypass: extensionless diagnostic URL is not stored, but transport preservation runs
curl --proxy 'http://hub-us-7.litport.net:PORT' --proxy-user 'USER:PASSWORD_cache-images' \
--cacert litport-cache-root.crt \
'https://tls.peet.ws/api/all'
# A second independent JA3/JA4 and HTTP/2 view
curl --proxy 'http://hub-us-7.litport.net:PORT' --proxy-user 'USER:PASSWORD' \
'https://tls.browserleaks.com/json'
curl --proxy 'http://hub-us-7.litport.net:PORT' --proxy-user 'USER:PASSWORD_cache-images' \
--cacert litport-cache-root.crt \
'https://tls.browserleaks.com/json'
So sánh tls.ja3_hash, tls.ja4, các trường TLS có thứ tự và dấu vân tay HTTP/2. Không so sánh
client_random, session_id, IP nguồn, dấu vân tay TCP hay thời gian; các giá trị đó được dự kiến sẽ thay đổi.
Trong phản hồi của BrowserLeaks, các trường tương đương là ja3_hash, ja4 và akamai_hash.
Đây là dịch vụ chẩn đoán của bên thứ ba, nên nó sẽ quan sát IP đầu ra của proxy và siêu dữ liệu yêu cầu.
Chỉ dùng khi việc tiết lộ đó chấp nhận được.
Đọc thêm#
Bài viết trên blog Litport TLS fingerprinting through a proxy: JA3 and JA4 giải thích cách đường hầm opaque, proxy đánh chặn và chế độ bộ nhớ đệm mỗi loại ảnh hưởng đến dấu vân tay JA3, JA4 và HTTP/2, kèm kết quả đo với các client phổ biến.
Quay lại tổng quan bộ nhớ đệm hoặc xem điều kiện áp dụng và khắc phục sự cố.