Telepresence：讓微服務本地開發不再難

導讀

云原生的概念越來越深入人心，作為典型技術之一的微服務架構，過去我們還說它是一把雙刃劍，帶來一定好處的同時，對服務團隊的技術要求也提高了很多。但是，隨著開源技術的不斷發展，越來越多優秀的技術和工具涌現出來，讓云原生落地不再困難。為此，博云研究院后續將不定期的總結整理云原生相關的開發、測試、運維等方面的最佳實踐，借助博云和開源社區共同的力量，幫助客戶更加標準化、簡單化開啟云原生之路。

背景

基于Spring Boot框架開發微服務，并部署在Kubernetes集群中，是現在很多企業的實施微服務的技術選型。微服務架構下，開發人員主要關注于所在服務團隊維護的微服務，通常情況下這些微服務依賴于其它團隊開發的微服務，同時也被另外一組微服務所依賴。

在微服務開發過程中，一種傳統的做法是通過單元測試對代碼進行驗證，盡可能早的發現問題，待相關服務開發基本完成以后，統一部署到Kubernetes集群中進行聯調。這種方式下，一方面是開發人員花大量的時間設計測試用例，編寫測試代碼，還要為每個依賴的服務打樁；另一方面，由于集成的時間點比較晚，大量接口不一致導致的問題可能會在集成測試的過程中集中爆發，造成人力物力的浪費。

如果將服務盡早的部署到Kubernetes測試環境中進行聯調測試，可以提前發現問題。由于部署的過程在開發過程中需要反復執行，所以很多企業搭建了CICD工具，比較常見的流程是：提交代碼 -> Jenkins 拉取源碼 -> Maven編譯 -> Docker鏡像構建 -> 部署 -> 測試。雖然該過程可以自動完成，但是每次調試均需要經歷該步驟，耗時比較長，效率很低。同時，Kubernetes集群內部的微服務的特點是，各微服務之間在集群內可以互相訪問，集群外部沒有很好的方法來獲取集群內部的功能，比如讀寫數據庫中的數據等，所以觀察服務的運行結果也是比較困難的事情，無法提供像單體應用一樣本地單步調試的體驗。

Telepresence是一款為Kubernetes微服務框架提供快速本地化開發功能的開源軟件。Telepresence在Kubernetes集群中運行的Pod中部署雙向網絡代理，該Pod將Kubernetes環境（如TCP連接，環境變量，卷）中的數據代理到本地進程。本地進程透明地覆蓋其網絡，以便DNS調用和TCP連接通過代理路由到遠程Kubernetes集群，能夠獲取遠端K8S集群的各項資源。該工具可以實現：

• 本地服務可以完全訪問遠程群集中的其他服務；
• 本地服務可以完全訪問Kubernetes的環境變量，Secrets和ConfigMap；
• K8S中運行的遠程服務也可以完全訪問本地服務。

實踐

1.安裝kubectl命令行工具，并配置本地可以訪問Kubernetes集群。

2. 安裝Telepresence工具

在OS X中可使用如下命令安裝Telepresence工具。

# brew cask install osxfuse
# brew install datawire/blackbird/telepresence

3. 部署Demo微服務

在集成測試環境的Kubernetes集群中部署微服務。

# kubectl get all
NAME                             READY   STATUS    RESTARTS   AGE
demo-backend-7bb6cf9994-9qnxp    1/1     Running   0          118s
demo-frontend-84b7f5c75f-8r69n   1/1     Running   0          40h

NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/demo-backend    ClusterIP   10.233.55.68    <none>        8080/TCP         40h
service/demo-frontend   NodePort    10.233.17.241   <none>        8081:30001/TCP   40h

NAME                            DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/demo-backend    1         1         1            1           40h
deployment.apps/demo-frontend   1         1         1            1           40h

NAME                                       DESIRED   CURRENT   READY   AGE
replicaset.apps/demo-backend-7bb6cf9994    1         1         1       40h
replicaset.apps/demo-frontend-84b7f5c75f   1         1         1       40h

通過Kubernetes暴露的NodePort訪問應用訪問該應用，驗證服務沒有問題。

# curl http://10.20.1.71:30001/
Message from backend is: Hello from demo-backend-7bb6cf9994-9qnxp 

4. 通過Telepresence工具啟動本地服務

# cd spring-cloud-kubernetes/demo-backend/
# telepresence \
    --mount /tmp/known \
    --swap-deployment demo-backend \
    --docker-run \
    --rm \
    -v $(pwd):/build \
    -v $HOME/.m2/repository:/m2 \
    -v=/tmp/known/var/run/secrets:/var/run/secrets \
    -p 8080:8080 \
    -p 5005:5005 \
    maven:3.6-jdk-8-alpine \
        mvn \
            Dspring-boot.run.jvmArguments="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005" \
            -Dmaven.repo.local=/m2 \
            -f /build \
            spring-boot:run

參數詳細解析如下。

telepresence：啟動telepresence的命令；

--mount /tmp/known：告訴Telepresence將TELEPRESENCE_ROOT掛載到本地的/tmp/known目錄；

--swap-deployment foo：假設我們已在集群中運行名為foo的Deployment，下一步將使用本地運行的進程進行替換；

--docker-run：告訴Telepresence接下來以Docker容器方式運行；

--rm：告訴Docker終止時丟棄之前創建的容器，不會對本地造成混亂；

-v$(pwd):/build：將當前目錄（pwd命令的結果）掛載到Docker容器內的文件夾/build中，這也是本地源代碼的位置；

-v $HOME/.m2/repository:/m2：安裝Maven緩存文件夾，這樣我們就不必每次運行容器時都下載Maven組件；

-v=/tmp/known/var/run/secrets:/var/run/secrets：將上述的本地/tmp/known目錄下的secrets目錄掛載到本地容器的/var/run/secrets路徑下，類似Fabric8 Kubernetes Client的工具可以通過該目錄讀取Secretes信息，就像容器是運行在Kubernetes內部一樣；

-p 8080:8080 -p 5005:5005：將本地容器的服務端口暴露出來，可以在需要直接向服務發出請求時訪問該端口；

maven:3.6-jdk-8-alpine：這是我們將用于構建和運行我們的服務的鏡像，它包含了Maven和Java 8等工具；

mvn ... spring-boot:run：要在Docker容器中運行的命令。這里它使用Spring Boot Maven插件，但您可以使用構建工具所需的任何命令。它告訴maven指向已安裝的存儲庫緩存以及源代碼所在的位置

-Dspring-boot.run.jvmArguments="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005"：表示為服務打開5005遠程調試端口。在Telepresence的文檔中是通過MAVEN_OPTS參數傳遞Debug配置，該配置實際上是對Maven進程開啟Debug模式，并不是demo-backend應用，無法提供遠程單步調試的能力。

-Dmaven.repo.local=/m2：表示本地Maven倉庫的位置；

-f /build：Maven構建時的主目錄，也即源代碼的根目錄；

spring-boot:run：spring-boot-maven-plugin插件發布的Goal，用于啟動Spring Boot應用。

查看Kubernetes集群中的Pod信息。可以看到，之前的Pod demo-backend-7bb6cf9994-9qnxp已經被新的容器替換，使用的是Telepresence提供的鏡像。

# kubectl get pod
NAME                                                             READY   STATUS    RESTARTS   AGE
demo-backend-c9df931b5c83411aad5a329ec9ecbcbb-5b4fdd7b-wzz9r     1/1     Running   0          11s
demo-frontend-84b7f5c75f-8r69n                                   1/1     Running   0          40h

查看本地Docker運行情況。

# docker ps
CONTAINER ID        IMAGE                              COMMAND                  CREATED             STATUS              PORTS                                                                        NAMES
c7c10281a32c        maven:3.6-jdk-8-alpine             "/usr/local/bin/mvn-…"   35 seconds ago      Up 33 seconds                                                                                    telepresence-1555471863-056155-58429
fd94d372f832        datawire/telepresence-local:0.98   "/sbin/tini -v -- py…"   44 seconds ago      Up 43 seconds       0.0.0.0:5005->5005/tcp, 0.0.0.0:8080->8080/tcp, 127.0.0.1:64163->38022/tcp   telepresence-1555471853-8663979-58429

確認本地開放了8080和5005端口。

# netstat -na | grep -E "5005|8080"
tcp6       0      0  ::1.5005               *.*                    LISTEN
tcp4       0      0  *.5005                 *.*                    LISTEN
tcp6       0      0  ::1.8080               *.*                    LISTEN
tcp4       0      0  *.8080                 *.*                    LISTEN

直接通過8080端口訪問本地的demo-backend服務。

# curl localhost:8080
Hello from demo-backend-c9df931b5c83411aad5a329ec9ecbcbb-5b4fdd7b-wzz9r

通過Kubernetes暴露的NodePort訪問應用，可以看到此時到demo-backend的請求已經被轉發到本地運行的docker中。

# curl http://10.20.1.71:30001
Message from backend is: Hello from demo-backend-80d454f85d8b43118f5740d9f25260ba-854fcd9fbd-lzkb7

5. 通過IDE進行代碼開發和單步調試

• 啟動IDEA，在上述源代碼路徑上打開工程。

• 配置遠程調試，連接本地5005端口。

• 設置斷點，并訪問應用，在IDEA中可以進行單步調試。
  

• 修改代碼并保存，然后點擊Build -> Build Project。

在demo-backend項目的pom文件中，配置了devtools的依賴。

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
        <optional>true</optional>
    </dependency>
</dependencies>

而當IntelliJ IDEA重新構建時，會更新該目錄下的文件demo-backend/target/classes。通過mvn spring-boot:run方式啟動應用時，Devtools監聽的classpath，也即上述目錄，當目錄內的文件發生變化后，會啟動restart，執行新的代碼。

  .   ____          _            __ _ _
/\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot ::        (v2.1.3.RELEASE)

11:17:44.328 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - Starting KubernetesBackendApplication on Waret with PID 58351 (/Users/Waret87/WorkSpace/telepresence/spring-cloud-kubernetes/demo-backend/target/classes started by Waret87 in /Users/Waret87/WorkSpace/telepresence/spring-cloud-kubernetes/demo-backend)
11:17:44.331 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - No active profile set, falling back to default profiles: default
...
11:17:45.931 [restartedMain] INFO  o.s.b.w.e.tomcat.TomcatWebServer - Tomcat started on port(s): 8080 (http) with context path ''
11:17:45.934 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - Started KubernetesBackendApplication in 1.873 seconds (JVM running for 2.282)
11:20:35.483 [Thread-6] INFO  o.s.s.c.ThreadPoolTaskExecutor - Shutting down ExecutorService 'applicationTaskExecutor'

  .   ____          _            __ _ _
/\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot ::        (v2.1.3.RELEASE)

11:20:36.838 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - Starting KubernetesBackendApplication on Waret with PID 58351 (/Users/Waret87/WorkSpace/telepresence/spring-cloud-kubernetes/demo-backend/target/classes started by Waret87 in /Users/Waret87/WorkSpace/telepresence/spring-cloud-kubernetes/demo-backend)
11:20:36.838 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - No active profile set, falling back to default profiles: default
...
11:20:37.272 [restartedMain] INFO  o.s.b.w.e.tomcat.TomcatWebServer - Tomcat started on port(s): 8080 (http) with context path ''
11:20:37.272 [restartedMain] INFO  c.b.s.c.k.b.KubernetesBackendApplication - Started KubernetesBackendApplication in 0.467 seconds (JVM running for 173.62)

再次訪問服務，可以看到新的代碼已經生效。

# curl http://10.20.1.71:30001
Message from backend is: Hello World from demo-backend-c9df931b5c83411aad5a329ec9ecbcbb-5b4fdd7b-wzz9r

總結

通過上面的實踐我們可以看到，Telepresence項目很好的解決了開發測試和部署上線之間的銜接問題，是對Kubernetes生態環境很好的補充。該項目已捐獻給CNCF基金會，社區的文檔也是比較完善的，更詳細的原理和用法可參考文檔。

本文由博云研究院原創發表，轉載請注明出處。