Apollo 10 — adminService 全量發(fā)布

目錄

  1. UI 界面
  2. Portal 服務(wù)
  3. admin 服務(wù)
  4. 總結(jié)

1. UI 界面

1
2
3

2. Portal 服務(wù)

當(dāng)我們點擊上面的發(fā)布按鈕的時候，調(diào)用的當(dāng)然是 portal 的接口。具體代碼如下：

  /**
   * 全量發(fā)布
   * @param appId SampleApp
   * @param env DEV
   * @param clusterName default
   * @param namespaceName  application
   * @param branchName 分支/灰度名稱
   * @param deleteBranch true
   * @param model {"releaseTitle":"20180716220550-gray-release-merge-to-master","releaseComment":"","isEmergencyPublish":false}
   * @return
   */
  @PreAuthorize(value = "@permissionValidator.hasReleaseNamespacePermission(#appId, #namespaceName)")
  @RequestMapping(value = "/apps/{appId}/envs/{env}/clusters/{clusterName}/namespaces/{namespaceName}/branches/{branchName}/merge", method = RequestMethod.POST)
  public ReleaseDTO merge(@PathVariable String appId, @PathVariable String env,
                          @PathVariable String clusterName, @PathVariable String namespaceName,
                          @PathVariable String branchName, @RequestParam(value = "deleteBranch", defaultValue = "true") boolean deleteBranch,
                          @RequestBody NamespaceReleaseModel model) {
    // 如果是緊急發(fā)布,但該環(huán)境不允許緊急發(fā)布,拋出異常
    if (model.isEmergencyPublish() && !portalConfig.isEmergencyPublishAllowed(Env.fromString(env))) {
      throw new BadRequestException(String.format("Env: %s is not supported emergency publish now", env));
    }
    // 合并主版本和灰度版本, 得到一個發(fā)布 dto
    ReleaseDTO createdRelease = namespaceBranchService.merge(appId, Env.valueOf(env), clusterName, namespaceName, branchName,
                                                             model.getReleaseTitle(), model.getReleaseComment(),
                                                             model.isEmergencyPublish(), deleteBranch);

    ConfigPublishEvent event = ConfigPublishEvent.instance();
    event.withAppId(appId)
        .withCluster(clusterName)
        .withNamespace(namespaceName)
        .withReleaseId(createdRelease.getId())
        .setMergeEvent(true)
        .setEnv(Env.valueOf(env));

    publisher.publishEvent(event);// 發(fā)送郵件

    return createdRelease;
  }

接口職責(zé)不多：是否符合緊急發(fā)布的數(shù)據(jù)校驗，調(diào)用 Service， 發(fā)布“配置發(fā)布”事件（發(fā)送郵件）。

看看調(diào)用 Service 的過程，該方法稱為 merge ，實際上就是合并灰度和主版本的配置。代碼如下：

  public ReleaseDTO merge(String appId, Env env, String clusterName, String namespaceName,
                          String branchName, String title, String comment,
                          boolean isEmergencyPublish, boolean deleteBranch) {
    // 計算 changeSets
    ItemChangeSets changeSets = calculateBranchChangeSet(appId, env, clusterName, namespaceName, branchName);
    // 調(diào)用 admin 服務(wù)
    ReleaseDTO mergedResult =
        releaseService.updateAndPublish(appId, env, clusterName, namespaceName, title, comment,
                                        branchName, isEmergencyPublish, deleteBranch, changeSets);

    Tracer.logEvent(TracerEventType.MERGE_GRAY_RELEASE,
                 String.format("%s+%s+%s+%s", appId, env, clusterName, namespaceName));

    return mergedResult;
  }

做了 2 件事情： 計算 change 集合，調(diào)用 admin 服務(wù)。很明顯，計算 change 對于 protal 非常重要。

calculateBranchChangeSet 方法主要將灰度配置和主版本配置合并。

代碼：

private ItemChangeSets calculateBranchChangeSet(String appId, Env env, String clusterName, String namespaceName,
                                                String branchName) {
  NamespaceBO parentNamespace = namespaceService.loadNamespaceBO(appId, env, clusterName, namespaceName);// 父版本 namespace

  if (parentNamespace == null) {
    throw new BadRequestException("base namespace not existed");
  }

  if (parentNamespace.getItemModifiedCnt() > 0) {
    throw new BadRequestException("Merge operation failed. Because master has modified items");
  }

  List<ItemDTO> masterItems = itemService.findItems(appId, env, clusterName, namespaceName);// 主版本 items 

  List<ItemDTO> branchItems = itemService.findItems(appId, env, branchName, namespaceName);// 子版本 items 

  ItemChangeSets changeSets = itemsComparator.compareIgnoreBlankAndCommentItem(parentNamespace.getBaseInfo().getId(),
                                                                               masterItems, branchItems);// 得到 changeSet
  changeSets.setDeleteItems(Collections.emptyList());// 防止誤刪除，emm，灰度的內(nèi)容并不是全量的，因此上面的計算有些問題，并且目前沒有刪除功能。所以這里可以置空。
  changeSets.setDataChangeLastModifiedBy(userInfoHolder.getUser().getUserId());
  return changeSets;
}

步驟：

  1. 獲取主版本的 namespace 詳細(xì)信息，用于數(shù)據(jù)檢驗，id 賦值。
  2. 獲取主版本的所有 item 配置，再獲取灰度版本的所有 item 配置，注意，灰度版本的 item 只有其自身新增的和修改的配置，不是全量的（這將導(dǎo)致后面一個奇怪的現(xiàn)象）。
  3. 比較兩者差異，得到 change 集合。
  4. 設(shè)置 deleteList 為空 —— 奇怪現(xiàn)象（灰度的內(nèi)容并不是全量的，因此上面的計算有些問題，并且目前沒有刪除功能。所以這里可以置空, 并且防止誤刪除）。
  5. 設(shè)置修改人。

這里需要注意的是計算差異到底是怎么計算的，為什么后面有置空 deleteItem 的操作。

我就不貼全部的方法了，貼一下對刪除操作有影響的代碼：

/** 比較,忽略空格,返回一個改變的 items */
public ItemChangeSets compareIgnoreBlankAndCommentItem(long baseNamespaceId, List<ItemDTO> baseItems, List<ItemDTO> targetItems){

  // 忽略新增/修改 item 代碼......

  // 處理刪除,但這個邏輯似乎不對. 不過此類不知道數(shù)據(jù)來源,工具類沒有問題.
  for (ItemDTO item: baseItems){// 主版本
    String key = item.getKey();

    ItemDTO targetItem = targetItemMap.get(key);
    if(targetItem == null){//delete// 如果灰度版本里沒有,說明刪除了.
      changeSets.addDeleteItem(item);// 添加進(jìn)刪除集合
    }
  }
  return changeSets;
}

可以看到，這段代碼里，循環(huán)主版本，逐個對比灰度版本，如果灰度版本里沒有，就添加進(jìn) delete 集合，而我們知道，灰度版本的 item 只有修改的和新增的，這時，將導(dǎo)致誤刪除。

但這個工具類的計算是沒有問題的，有問題的是外層數(shù)據(jù)的完整性。

因此需要在外面打個補?。?code>changeSets.setDeleteItems(Collections.emptyList());

好，計算完 changeSet，就要調(diào)用 admin 服務(wù)了，并且把 changeSet 傳遞過去，然后返回一個 release 對象，表示發(fā)布成功，并發(fā)布事件。

在分析 admin 之前，總結(jié)一下 protal 的流程：

3. admin 服務(wù)

從 portal 的代碼中，可以看到，調(diào)用的是 admin 的 updateAndPublish 方法接口，看看這個接口：
位置 ： com.ctrip.framework.apollo.adminservice.controller.ReleaseController.java
代碼如下：

  @Transactional
  @RequestMapping(path = "/apps/{appId}/clusters/{clusterName}/namespaces/{namespaceName}/updateAndPublish", method = RequestMethod.POST)
  public ReleaseDTO updateAndPublish(@PathVariable("appId") String appId,// 應(yīng)用名稱
                                     @PathVariable("clusterName") String clusterName,//集群
                                     @PathVariable("namespaceName") String namespaceName,// 主版本名稱
                                     @RequestParam("releaseName") String releaseName, // 發(fā)布名稱
                                     @RequestParam("branchName") String branchName,// 灰度名稱 cluster
                                     @RequestParam(value = "deleteBranch", defaultValue = "true") boolean deleteBranch,// 是否刪除灰度
                                     @RequestParam(name = "releaseComment", required = false) String releaseComment,// 評論
                                     @RequestParam(name = "isEmergencyPublish", defaultValue = "false") boolean isEmergencyPublish,// 是否緊急發(fā)布
                                     @RequestBody ItemChangeSets changeSets) {// 這個是 portal 發(fā)來的
    Namespace namespace = namespaceService.findOne(appId, clusterName, namespaceName);// 找到分支
    if (namespace == null) {
      throw new NotFoundException(String.format("Could not find namespace for %s %s %s", appId,
                                                clusterName, namespaceName));
    }
    // 合并改變 并且發(fā)布
    Release release = releaseService.mergeBranchChangeSetsAndRelease(namespace, branchName, releaseName,
                                                                     releaseComment, isEmergencyPublish, changeSets);
    // 是否刪除分支
    if (deleteBranch) {
      namespaceBranchService.deleteBranch(appId, clusterName, namespaceName, branchName,
                                          NamespaceBranchStatus.MERGED, changeSets.getDataChangeLastModifiedBy());
    }
    // 保存發(fā)布消息到數(shù)據(jù)庫
    messageSender.sendMessage(ReleaseMessageKeyGenerator.generate(appId, clusterName, namespaceName),
                              Topics.APOLLO_RELEASE_TOPIC);

    return BeanUtils.transfrom(ReleaseDTO.class, release);
  }

這個接口接受 portal 調(diào)用，比較有趣的點是，這里的 changeSet 是 portal 計算的，而不是 admin 自己計算的。

然后，controller 層比較簡單，數(shù)據(jù)校驗，調(diào)用 Service，發(fā)送消息。

當(dāng)然主要看看 Service。

主要是 releaseService 的 mergeBranchChangeSetsAndRelease 方法，看名字，任務(wù)很多：合并分支修改集合，并且發(fā)布。

代碼如下：

@Transactional
public Release mergeBranchChangeSetsAndRelease(Namespace namespace, String branchName, String releaseName,
                                               String releaseComment, boolean isEmergencyPublish,
                                               ItemChangeSets changeSets) {
  // 檢查鎖
  checkLock(namespace, isEmergencyPublish, changeSets.getDataChangeLastModifiedBy());
  /// 更新 item
  itemSetService.updateSet(namespace, changeSets);
  // 找到最新發(fā)布的 release
  Release branchRelease = findLatestActiveRelease(namespace.getAppId(), branchName, namespace
      .getNamespaceName());
  // release Id
  long branchReleaseId = branchRelease == null ? 0 : branchRelease.getId();
  // 找到當(dāng)前 namespace 的所有 Item(剛剛更新的)
  Map<String, String> operateNamespaceItems = getNamespaceItems(namespace);

  Map<String, Object> operationContext = Maps.newHashMap();
  // 構(gòu)造操作上下文 sourceBranch=灰度名稱 baseReleaseId=最新的releaseId isEmergencyPublish=是否緊急發(fā)布, 用于構(gòu)建發(fā)布?xì)v史
  operationContext.put(ReleaseOperationContext.SOURCE_BRANCH, branchName);
  operationContext.put(ReleaseOperationContext.BASE_RELEASE_ID, branchReleaseId);
  operationContext.put(ReleaseOperationContext.IS_EMERGENCY_PUBLISH, isEmergencyPublish);
  // ReleaseHistory Audit 主版本
  return masterRelease(namespace, releaseName, releaseComment, operateNamespaceItems,
                       changeSets.getDataChangeLastModifiedBy(),
                       // 灰度合并回主分支發(fā)布
                       ReleaseOperation.GRAY_RELEASE_MERGE_TO_MASTER, operationContext);

}

代碼很簡單，步驟：

  1. 檢查鎖，和普通發(fā)布一樣，判斷修改者和發(fā)布者是不是同一個人。
  2. 根據(jù) Portal 傳遞來的 changeSets 更新 item。
  3. 找到最新發(fā)布的 release（構(gòu)建發(fā)布?xì)v史的上下文）。
  4. 發(fā)布主版本。

其中，updateSet 方法比較重要，要看看他是怎么更新 item 的。

方法很長，總之，就是將 changeSet 的內(nèi)容保存到主版本的 namespace 下。

@Transactional
public ItemChangeSets updateSet(String appId, String clusterName,
                                String namespaceName, ItemChangeSets changeSet) {
  //  最后改變數(shù)據(jù)的人
  String operator = changeSet.getDataChangeLastModifiedBy();
  // 改變數(shù)據(jù)的詳細(xì)信息
  ConfigChangeContentBuilder configChangeContentBuilder = new ConfigChangeContentBuilder();
  // 如果創(chuàng)建了新的
  if (!CollectionUtils.isEmpty(changeSet.getCreateItems())) {
    // 循環(huán)
    for (ItemDTO item : changeSet.getCreateItems()) {
      // 轉(zhuǎn)換
      Item entity = BeanUtils.transfrom(Item.class, item);
      entity.setDataChangeCreatedBy(operator);
      entity.setDataChangeLastModifiedBy(operator);
      // 保存 item 到數(shù)據(jù)庫
      Item createdItem = itemService.save(entity);
      // 保存到 builder createItems List 中
      configChangeContentBuilder.createItem(createdItem);
    }
    // 最后記錄審核
    auditService.audit("ItemSet", null, Audit.OP.INSERT, operator);
  }
  // 如果有修改的數(shù)據(jù)
  if (!CollectionUtils.isEmpty(changeSet.getUpdateItems())) {
    for (ItemDTO item : changeSet.getUpdateItems()) {
      // 轉(zhuǎn)換并尋找
      Item entity = BeanUtils.transfrom(Item.class, item);
      Item managedItem = itemService.findOne(entity.getId());
      // 不存在拋出異常
      if (managedItem == null) {
        throw new NotFoundException(String.format("item not found.(key=%s)", entity.getKey()));
      }
      // 之前的數(shù)據(jù)
      Item beforeUpdateItem = BeanUtils.transfrom(Item.class, managedItem);

      //protect. only value,comment,lastModifiedBy,lineNum can be modified
      // 將之前數(shù)據(jù)內(nèi)容更新
      managedItem.setValue(entity.getValue());
      managedItem.setComment(entity.getComment());
      managedItem.setLineNum(entity.getLineNum());
      managedItem.setDataChangeLastModifiedBy(operator);
      // 更新
      Item updatedItem = itemService.update(managedItem);
      // 更新 builder 中 value
      configChangeContentBuilder.updateItem(beforeUpdateItem, updatedItem);

    }
    // 最后審核 itemSet
    auditService.audit("ItemSet", null, Audit.OP.UPDATE, operator);
  }
  // 如果有刪除的
  if (!CollectionUtils.isEmpty(changeSet.getDeleteItems())) {
    for (ItemDTO item : changeSet.getDeleteItems()) {
      // 數(shù)據(jù)庫刪除
      Item deletedItem = itemService.delete(item.getId(), operator);
      // 添加到 builder 中
      configChangeContentBuilder.deleteItem(deletedItem);
    }
    // 審核
    auditService.audit("ItemSet", null, Audit.OP.DELETE, operator);
  }
  // 如果 builder 中有內(nèi)容
  if (configChangeContentBuilder.hasContent()){
    // 創(chuàng)建提交記錄
    createCommit(appId, clusterName, namespaceName,
        configChangeContentBuilder.build(), // 將 build 變成 json 保存
                 changeSet.getDataChangeLastModifiedBy());
  }

  return changeSet;
}

在成功更新 itme 之后，便可以進(jìn)行最終的發(fā)布了，發(fā)布很簡單，就不展開講了。

然后看看刪除灰度，默認(rèn)是要刪除的。

步驟：

  1. 找到灰度發(fā)布的最新 release。
  2. 更新灰度規(guī)則，置空灰度規(guī)則。
  3. 刪除灰度 cluster 和關(guān)聯(lián)的 namespace。置于灰度為什么和 cluster 關(guān)聯(lián)，而不是和 namespace 關(guān)聯(lián)，這是因為最初的 apollo 沒有設(shè)計灰度，后面加上灰度的時候，為了避免 namespace 大幅修改，就在 cluster 里加入父子邏輯了（咨詢過作者）。
  4. 記錄發(fā)布?xì)v史。根據(jù)是否 merge 記錄是放棄灰度還是合并后刪除，方便審計。

發(fā)布操作有很多類型，apollo 的常量如下：

public interface ReleaseOperation {
  int NORMAL_RELEASE = 0;//普通發(fā)布
  int ROLLBACK = 1;// 回滾
  int GRAY_RELEASE = 2;// 灰度發(fā)布
  int APPLY_GRAY_RULES = 3;// 灰度規(guī)則更新
  int GRAY_RELEASE_MERGE_TO_MASTER = 4;// 灰度合并回主分支發(fā)布
  int MASTER_NORMAL_RELEASE_MERGE_TO_GRAY = 5;// 主分支發(fā)布灰度自動發(fā)布
  int MATER_ROLLBACK_MERGE_TO_GRAY = 6;// 主分支回滾灰度自動發(fā)布
  int ABANDON_GRAY_RELEASE = 7;//放棄灰度
  int GRAY_RELEASE_DELETED_AFTER_MERGE = 8;// 灰度版本合并后刪除
}

總結(jié)一下 admin 的發(fā)布流程：

4. 總結(jié)

將 portal 和 admin 組合起來看，下圖：

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 目錄 Controller 層 Service 層 publish 方法 發(fā)送 ReleaseMessage 消息...
    莫那一魯?shù)?/span>閱讀 1,393評論 0贊 1
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 32,288評論 2贊 89
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,544評論 19贊 139
  • 北宋年間。隆冬時節(jié)，寒風(fēng)凜冽。陽谷縣城，街頭行人寥落。 武大郎把燒餅挑子挪到避風(fēng)的墻角處，雙手插在袖筒里，雙腳不停...
    輕讀漫寫閱讀 889評論 0贊 4
  • 滴答滴答，時間不停的在轉(zhuǎn)動，忽然耳邊傳來了吱吱喳喳的鳥鳴聲，抬眼一看，原來是那只被我“包養(yǎng)”的鵲兒停在窗外面的樹...
    HZ新鮮感閱讀 337評論 0贊 0

友情鏈接更多精彩內(nèi)容