高手问答第 298 期 —— 迁移上云或跨云迁移如何做到安全、高效、低成本？

OSC哒哒发布于 02/27 16:13

阅读 2K+

答案 16

高手问答

当前大规模推行的产业数字化转型中，以云计算承载数智技术是企业的最佳选择。无论是从传统物理机到云虚拟机的迁移上云，还是从某云平台到另个云平台的跨云迁移，都需要保障业务的正常开展，做到平滑迁移数据不丢失。

企业和开发者在云迁移过程中，核心系统和数据应该如何迁移？如何确保应用的可用性和安全性？成本应如何分析和优化？

OSCHINA 本期高手问答 (2 月 28 日 - 3 月 6 日) 我们请来了张久志老师和大家一起探讨关于业务迁移的相关技术及管理话题。

可讨论的问题包括不限于：

业务迁移场景及迁移流程；
业务数据迁移所需的准备工作；
平移或基于云原生的数据迁移常见问题；
云迁移过程中的安全和成本问题；
京东云数据迁移案例相关

有其他相关的问题，也欢迎提问！

嘉宾介绍：

张久志，京东云交付架构师，10年以上IT系统项目建设经验，支持京东集团内外部多个客户业务迁移上云工作及外部政务云迁移项目，对业务上云的技术及过程管理有多个项目经验，熟悉迁移及云上容灾建设的相关标准及流程。

为了鼓励踊跃提问，我们会在问答结束后从提问者中抽取 5 位幸运会员赠予办公四宝礼盒一份。

OSChina 高手问答一贯的风格，不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就编程语言设计与开发相关的问题向张久志老师提问，直接回帖提问既可。

加载中

OSC哒哒

03/07 14:14

高手问答第 298 期 —— 迁移上云或跨云迁移如何做到安全、高效、低成本？

@gotc @iman123 @xiaour @忘了名字 @ericyan1

恭喜以上5位网友分别获得办公四宝礼盒一份。

请于03月15日12：00前登陆账号，私信 @OSC哒哒告知快递信息（格式：姓名+电话+地址），逾期视为自动放弃哦~

评论 (2) 引用此答案举报

ericyan1

03/21 20:54

抱歉。老师， OSchina 之前都有提醒，最近没有提醒，没有看到。可以帮忙申请下吗，已经私信快递信息了。:pray:

回复举报

hi懒喵

03/08 08:12

:laughing:我也想要

回复举报

gotc

03/01 10:45

@京东云开发者张久志您好，向你咨询几个业务上云相关问题

企业上云如何保证 连续运行
上云这块京东云相比其他云优势在哪，费用，扩展性，性能，灵活性，安全
迁移案例 有没有能介绍部分遇到的主要挑战 有哪些
云原生时代，对上云提供了哪些便利

评论 (10) 引用此答案举报

京东云开发者

03/01 21:02

回复 @gotc : 目前数据库同步，已经有成熟的产品，dts服务及数据同步服务，支持数据库的增量同步，传统自建数据库主从模式，对网络条件要求较高

回复举报

gotc

03/01 16:54

回复 @京东云开发者 : 连续运行方面数据库数据同步，如何保证呢，以前网上查过相关本地混合双写逐步迁移这样的

回复举报

京东云开发者

03/01 14:55

从技术角度讲，docker的一次构建，多处运行的特性，确实给上云带来了很多便利，基于云原生的业务，可以方便的在云上拉起和测试，极大的降低了运维及研发迁移过程中的工作量，另外一般云原生业务都有计算及数据分离的特性，有利于迁移。但是云原生业务往往是服务数量多，内部依赖相对复杂，可选技术栈较多，不容易统一，这方面为迁移增加了一定的难度。

回复举报

京东云开发者

03/01 14:55

4.京东2022年发布了一款产品，云舰，解决云原生时代多云异构迁移的底层基础设施难题，方便客户在多云及混合云架构下的业务多云部署及快速迁移。同时，京东云提供了迁移中心，客户可以在控制台方便的管理迁移上云的项目，同时，可以通过可视化的工具界面，实现数据的迁移及同步，相关链接，在前面的问答中已经提供。

回复举报

京东云开发者

03/01 14:52

3.最好的案例就是京东集团的内部业务系统迁移上云，京东云在服务京东零售及物流等内部相关业务系统在迁移到京东云的过程中，也遇到了一些技术挑战，主要是服务的连续性保障问题，在迁移过程中，京东的服务不能出现中断。另外在迁移过程中，还经常会有异构数据迁移、定制组件的适配及业务架构调整的需求，这都给迁移增加了难度。

回复举报

-1

iman123

02/28 11:11

@京东云开发者你好，京东云可以在企业内部部署成私有云或者混合云使用么，有哪些限制；如果把企业内部的服务器/虚拟机迁移到公有云，数据量大的话，受限于网络，应该很慢的吧；公有云相比本地虚拟化平台/私有云有哪些优缺点呢；迁移完成后的后续增量同步是如何实现的？

评论 (4) 引用此答案举报

京东云开发者

02/28 13:06

系统及传统业务文件，可以通过rsync或其他数据同步工具，根据监控到的文件修改，进行增量文件同步（如果有商业CDP工具，可能可以支持增量字节同步，减少数据同步压力），对象存储增量，可通过list文件的更新，来实现新增文件的同步，但需要注意，文件同名更新，无法通过list模式来进行增量同步。

回复举报

京东云开发者

02/28 13:06

迁移完成后的后续增量同步是如何实现的？增量数据同步涉及多种数据，包括数据库、系统及业务文件、对象存储等，数据库可以通过DTS迁移工具通过分析日志，逻辑同步增量数据。基于主机在线迁移的场景下，主机在线迁移工具可以定期对变更文件进行检索，传输变更文件到目标端。

回复举报

京东云开发者

02/28 13:04

公有云相比本地虚拟化平台/私有云有哪些优缺点呢? 公有云优点：1、可以选择多个公有云服务商，可以选择国内国外不同区域及节点。2、PAAS、SAAS产品丰富度高。3、资产弹性度高，按需购买或扩容。4、运维成本相对较低。公有云缺点：1、数据保存在公司外部。2、有公有云服务绑定风险。3、有特殊安全管理要求的业务及数据不能部署到公有云。4、某些场景下，公有云成本比私有云高。

回复举报

京东云开发者

02/28 13:03

京东云可以在企业内部部署成私有云或者混合云使用么，有哪些限制? 京东云包括几个部分，公有云、私有云、专有云，可以为企业及政府提供专属服务。通过专线打通企业自己IDC与公有云的资源，形成混合云服务模式。私有云部署可以部署于客户自建IDC，或通过托管到京东或ISP机房。需要注意私有云建设需要IDC符合私有云建设的IDC标准，建议供电、消防、承重、动环方面通过评测后搭建私有云。

回复举报

-1

pyboy58

02/28 11:22

@京东云开发者

最近正好有业务迁移场景, 有原来的jar包部署的spring web项目需要改造部署到 k8s上, 不计划使用nfs挂盘,改造成了java调接口读取上传下载文件这种模式,不挂盘了??
如果从公有云上的开发测试的项目,迁移到内网企业的内网云上,这个步骤和流程是应该怎么样的??
业务数据迁移所需的准备工作, 京东数据迁移是否做到了自动化部署和自动化迁移?自动化数据迁移做到了哪一步? 还是采取定期数据迁移>??

评论 (9) 引用此答案举报

DolphinScheduler社区

03/02 21:37

回复 @京东云开发者 : 开源的数据同步产品可以用 Apache SeaTunnel，已经有 B站、滴滴、头条、腾讯等数百家公司在生产环境使用

回复举报

京东云开发者

02/28 14:33

回复 @pyboy58 : DTS是免费服务，可以迁移本地自建数据库或云上自建数据库及RDS，对使用者非常友好。其实现需要源端开启binlog并赋予某个数据库用户reload, replication slave,select等权限，通过对源端日志的读取、分析、传输及重组回放机制实现数据的迁移及同步。DTS目前尚无较好的开源解决方案，如果对数据迁移感兴趣，也可以了解一下StreamSets的产品

回复举报

京东云开发者

02/28 14:33

回复 @pyboy58 : 京东云DTS（其他友商云也都有DTS服务），是一组工具，可以实现关系型数据库的在线全量及增量迁移。https://dts-console.jdcloud.com 同时，京东云还提供DBS服务，是数据库备份的自动化服务。

回复举报

pyboy58

02/28 14:05

回复 @京东云开发者 : DTS是一组工具吧?能不能具体到是使用哪种方案或者有开源方案参考吗?

回复举报

京东云开发者

02/28 12:35

京东云迁移中心已经内置于控制台 https://amc-console.jdcloud.com/ 另外京东云提供迁移中心，可以通过迁移中心对迁移项目进行统一管理，通过迁移中心即可实现迁移的集中管理及部分步骤的自动化操作。除了产品，京东云提供迁移服务，并在主页提供迁移整体流程及方案指引视频。可以通过网页直接浏览 https://www.jdcloud.com/cn/pages/migration

回复举报

-1

jasinper

03/01 22:32 iPhone

@京东云开发者您好，目前采用的是企业自建的服务器及网络，每天还有大量的数据在产生，没办法停机上云，这个的话是先需要备库吗还是怎么搞？如果是需要双写备库，那mq 消息被消费的问题该怎么解决。还有就是分库分表以后冷数据的查询怎么优化会gengg

评论 (4) 引用此答案举报

京东云开发者

03/02 09:42

如果不能停止消息生产，则在源端与目标端，进行两边消息集群间消息的同步，同步全量消息数据，消费切换时同步集群的offset，以避免重复消费。同时需要同步考虑两边的数据同步及流量切换的配合，最好以测试环境提前演练并制定回退机制。分库分表以后冷数据的查询优化，这个建议您咨询一下专业的DBA同事哈，谢谢~

回复举报

京东云开发者

03/02 09:41

文件因为具有时间属性，因此，在打通网络后，文件的自动或手工同步都很方便，要注意的是，在生产流量切换前，要停止单向的数据及文件同步。MQ及kafka等消息类服务，建议的方案，分为两个场景，如果场景允许暂停消息生产，在迁移割接前，停止消息的生产，待消息全部消费完成后，进行割接，割接完成后，新环境继续消息的生产及消费。

回复举报

京东云开发者

03/02 09:40

如果不使用DTS，在网络打通的条件下，通过增加从库节点的方式，以数据库自身的同步机制完成数据同步上云也是一个常用的方向，自建数据库这样做也是很方便的，但是需要考虑企业IDC与云上网络之间的网络质量问题。除了数据库，还包括生产的部分其他文件存储，包括文档、日志、对象存储等。

回复举报

京东云开发者

03/02 09:39

您好，您这个场景很典型，企业内部业务上云，首先不能停服（当然在流量割接阶段会有可能有短时间影响），您的思路想到了备库，就是希望减少对主库的影响，不影响业务运行。这种典型的数据库迁移及同步的场景，也是各个云服务厂商及一些商业软件厂商重点关注的场景，因此，从数据库角度讲，我上面回答其他同学的问题时，提到的DTS服务，也就是数据迁移服务，是可以满足您不停机，迁移数据库的需求的。

回复举报

-1

hi懒喵

03/02 08:52

@京东云开发者

在过渡期间，企业将如何最小化停机时间?

有没有什么挑战(例如互联网连接不佳)会成为阻碍?

评论 (3) 引用此答案举报

京东云开发者

03/02 09:45

4、明确责任矩阵、进行全面沟通，沟通能够发现技术层面很难发现的问题，越早建立迁移组织并形成有限的沟通机制，对迁移的顺利实施越有利。 5、准备回退预案，做好POC验证，POC能发现部分技术验证无法发现的问题，提前准备解决方案。 6、业务涉及域名的，要提前做好云上的备案接入工作，有安全等保要求的，可以提前准备等保所需的信息和资料。

回复举报

京东云开发者

03/02 09:45

1、提前做好备份，有了备份数据，迁移过程的压力会减小，相对宽松的迁移氛围对迁移实施很有利。 2、迁移技术及工具的选择，现在数据迁移工具越来越多，各个大厂也都有自己的工具，但是产品的限制及兼容程度各有不同，需要根据业务性质选择并验证。 3、做好流程手册，明确操作责任人，联系相关部门做好迁移的切换阶段的护航准备。产品和服务类的问题一定要能找到人支持。

回复举报

京东云开发者

03/02 09:44

停机时间最小化，这个是个特别开放的问题，也是特别好的一个问题，影响停机时间的因素也特别多，比如网络问题，安全问题，数据同步问题，或者说某个关键员工的健康问题等。我个人结合以前的一些项目总结了5个通用的经验建议，提供给您参考。具体相关的方向，如果您有感兴趣的，您可以继续跟进提问，我们一起探讨。

回复举报

-1

buscoop1

03/02 13:56

@京东云开发者从华为云迁移到京东云在不停机情况下，有案例，优势在哪里

评论 (1) 引用此答案举报

京东云开发者

03/02 18:21

可以详细描述一下业务场景和云资源的规模，不停机迁移，要具体场景具体分析，如果是独立主机的迁移，还是需要短时间的停服割接时间窗口的。不停服的模式，在应用与数据分离的情况下，可以在数据落地切换到京东云后，逐步切换流量到京东云上的应用处理业务，实现不停服的迁移。

回复举报

-1

贺小皮蛋

03/02 14:48

@京东云开发者老师混合云有可能实现吗

评论 (1) 引用此答案举报

京东云开发者

03/02 18:30

您好，混合云这个模式，目前有很多成熟的方案，被很多企业或公司采用。混合多云模式，可以帮助客户提高业务的可用性，实现客户业务数据安全灵活管理。同时，还帮助客户避免单厂商技术绑定

回复举报

-1

贺小皮蛋

03/02 14:49

@京东云开发者老师混合云有可能实现吗

评论 (0) 引用此答案举报

-1

xiaour

03/02 18:57

@京东云开发者最近在准备“上云”的事情，那么上云过程中如何保证业务的连续性？如何相对准确的评估上云需要多少资源呢？

评论 (8) 引用此答案举报

xiaour

03/07 13:55

回复：好的，感谢回答

回复举报

京东云开发者

03/03 18:01

回复 @xiaour : 对有安全要求项目，我们也可以组织安全团队进行对接配合，给出合理的方案。复杂的项目，需要一对一的进行沟通，对技术及管理卡点进行解决。

回复举报

京东云开发者

03/03 18:01

回复 @xiaour : 这个时候迁移其他业务的时候，需要考虑本地业务与云上业务的依赖关系，建议的方式是打通IDC与京东云，形成混合云架构，通过网关实现云上云下业务的调用。如您所说，这需要应用层做一些适配改造。京东侧可以从存储数据的数据分类、数据加密、数据传输安全等层面配合客户做数据迁移的操作配合，但业务层面还是需要客户侧进行梳理和调整。

回复举报

京东云开发者

03/03 18:01

回复 @xiaour : 敏感数据的存储，这个在我们交付的一些项目中也会遇到，首先第一个原则是，满足监管及合规要求，在此基础上考虑迁移上云方案。如果部分数据必须存储在自己的IDC，那么从迁移的规划上，还是建议业务及数据不分离，业务数据保留在IDC，相应的业务也保留在IDC。

回复举报

xiaour

03/03 14:36

回复 @京东云开发者 : 谢谢，因为上云的话，要考虑敏感数据的存储，因为在自己机房的话，可能管理层比较放心，那么设计这块改动就会比较大，可能从底层数据的架构到应用层都要去改，投入的人力成本。关于这一点京东云一般是什么步骤帮用户解决呢？

回复举报