Feign踩坑記錄:JSON parse error

feign版本

image

feign調(diào)用時(shí)報(bào)錯(cuò):

feign.codec.DecodeException: Error while extracting response for type [class com.uaa.entity.resp.RespCompanyData] and content type [application/json;charset=UTF-8]; nested exception is org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Illegal character ((CTRL-CHAR, code 31)): only regular white space (\r, \n, \t) is allowed between tokens; nested exception is com.fasterxml.jackson.core.JsonParseException: Illegal character ((CTRL-CHAR, code 31)): only regular white space (\r, \n, \t) is allowed between tokens
at [Source: (ByteArrayInputStream); line: 1, column: 2]

解決方案

1:pom文件添加feign-httpclient,將feign的http組件改為apache httpClient
<dependency>
   <groupId>io.github.openfeign</groupId>
   <artifactId>feign-httpclient</artifactId>
</dependency>
2:檢查配置文件是否開啟了feign的gzip壓縮
feign:
 compression:
   request:
     enabled: true
   response:
     enabled: true
如果找到該配置,請(qǐng)?jiān)O(shè)置為false

排查思路

1.跟蹤拋出異常的堆棧,發(fā)現(xiàn)在對(duì)返回結(jié)果的json解析中拋出異常


image

2.為什么會(huì)解析json失敗呢,我們單獨(dú)調(diào)用feign對(duì)應(yīng)的接口是正常的,json也是正??梢越馕龅?/p>

image

3.難道feign的處理過返回的內(nèi)容,又去跟了下fegin處理過程發(fā)現(xiàn)從response獲取到流并沒有任何異常,難道是出在了源頭?但是源頭又沒有任何異常,此時(shí)思緒已經(jīng)混亂,試著在google上查找有沒有相關(guān)的問題,沒想到在feign的github上找到類似問題https://github.com/OpenFeign/feign/issues/934

image

可以看到,feign默認(rèn)的Client不支持設(shè)置了Content-Encoding為gzip的處理??吹酱粟s緊去看了下postman的Response Headers,果然發(fā)現(xiàn)了一行Content-Encoding:gzip!!
image

4.問題已然發(fā)現(xiàn),就是響應(yīng)的內(nèi)容經(jīng)過gzip編碼,feign默認(rèn)的Client不支持gzip解碼。那么在此跟蹤一下feign的源碼查看處理過程,從入口SynchronousMethodHandler開始,在122行開始獲取響應(yīng)內(nèi)容

response = logger.logAndRebufferResponse(metadata.configKey(), logLevel, response, elapsedTime);

最終在Logger的102行找到響應(yīng)流的讀取,讀取的流程如下:

image
可以看出,使用的是HttpInputStream,并沒有進(jìn)行g(shù)zip解碼的轉(zhuǎn)換。我們可以手動(dòng)進(jìn)行g(shù)zip解碼,
image
此時(shí)可以看到解碼后的內(nèi)容正是我們預(yù)期的json!

5.最終問題出在feign使用默認(rèn)的HttpURLConnection,并沒有經(jīng)過任何處理,導(dǎo)致讀取的是gzip壓縮后的內(nèi)容。此時(shí)我們可以將其置換為Httpclient,其內(nèi)部ResponseContentEncodingprocess方法,取出了Content-Encoding并判斷不為空,然后獲取對(duì)應(yīng)的處理方式。

image
可以看到,如果Content-Encoding對(duì)應(yīng)的value是gzip,那么就從decoderRegistry取出gzip對(duì)應(yīng)的GZIPInputStream。至此真相大白!

補(bǔ)充

上面所說feign默認(rèn)的Client不支持gzip解碼可能容易引起歧義,應(yīng)該是fegin默認(rèn)的Client對(duì)響應(yīng)流不支持對(duì)gzip后的字節(jié)流進(jìn)行解析,所以在序列化成對(duì)象時(shí)會(huì)存在解析問題。如果一定要接收可以使用ResponseEntity<byte[]>來接收,這樣feign就不會(huì)對(duì)其反序列化了。至于feign.compression.request.enabled=true,feign.compression.response.enabled=true配置的內(nèi)容在FeignAcceptGzipEncodingInterceptor,FeignContentGzipEncodingInterceptor,大致可以看出只是在請(qǐng)求頭添加了Header而已


2020/3/13

spring已添加支持,SpringCloud版升級(jí)到Hoxton即可

https://github.com/spring-cloud/spring-cloud-openfeign/pull/230

# 對(duì)于OkHttpClient以外的http客戶端,可以啟用默認(rèn)的gzip解碼器以UTF-8編碼解碼gzip響應(yīng)
feign.compression.response.enabled=true
feign.compression.response.useGzipDecoder=true

2020/12/01

對(duì)于仍然存在問題的伙伴,可以直接使用OkHttp設(shè)置為feign的客戶端(因?yàn)閛khttp是默認(rèn)支持gzip壓縮),不需要關(guān)注spring cloud版本;最簡(jiǎn)單的方案,也是最推薦的方案

  • application.yml配置文件添加以下配置
feign:
  okhttp:
    enabled: true
  • maven添加依賴
<dependency>
  <groupId>io.github.openfeign</groupId>
  <artifactId>feign-okhttp</artifactId>
</dependency>
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容