怎么运用丈量数据建立加载一反应机制？

采集时序数据的另外一个益处，就是能够经由过程编程使你的应用生成丈量数据，从而可以建立安全、精细的反应轮回，这方面有很多有效的例子。
在云计较中，启用新的实例只需求给提供者发一条简略的api挪用便可，但要想知道甚么时辰应该启动更多的实例或打消正在运转的实例，就会很贫苦。若是基于采集的运用情况来判断启用打消的话，就会容易患多，这是丈量数据用做反应机制的一种通例。
我在 flickr，有一个大型项目，运用了这类反应机制，事实证实，十分有效。
2007年，yahoo!决议关掉 yahoo!! photos方案很简略:通知 yahoo! photos的用户，这个服务将被关闭，用户可以本身选择，将本身的照片连同元数据一块儿转移到其余的服务，包括非yahoo!!的服务，像shutterfly和 kodak gallery， flickr也是选项之一。

为这个项目做出容量评估将是一件苦差事。虽然有一些丈量数器据，用上载频度、片大小及其余因素指述了yahoo! photos的典型用户，但有几个用户会选择flickr，即便选择了flickr，用户的运用形式又会怎样变革，咱们内心依然没底。咱们评论辩论的是一项曾经跨越10年的照片存储服务，将会有巨量的数括，并且这么大的空同会在很短的时间内讧费掉。不消讲得太准确，我通知你，2009年后期，fick天天用掉约莫12tb的存储客量。从yahoo! photos到flickr的迁徙，在2007年连续了一段不长的时间，天天耗费的存空间是这个数的两倍还多。
在在备迁徙的过程当中，基于对迁徙的评估以及现有的 yahoo! photos数器，咱们对存需求做了最佳的估量，并给出了一个宽松的安全零碎，确保迁徙完毕以前，不会泛起存空间不敷的情况。咱们能想到的每件工作，都有丈量数据:
● 迁徙的账户

● 迁徙的照片

● 处置的照片

● 迁徙队列大小

● 磁盘空间耗费量
对选择迁徙到flickr的用户，起头迁徙过程，并进行察看
我直接联到有意义的部分来讲吧:即便微了云云慎重的估量，咱们仍是错了，错大了。虽然做了研讨，对存猪容量做了精心的评估，想迁近移到fick来的人仍是超越了咱们的预期。要把想迁徙到flickr来的人的yhoo! photos数据都近移过来的话，咱们部看的存猪空间城市用完。要末添加存猪，要末flickr遏制上载片。
調六合，由于丈量数据能够追踪磁を请耗，咱们很如意想到了这点，但却受限于洽购时间表。首要的是尽快购置、装置、设置、部署更多存造，免得用完现有存。部著更多空间与迁徙进程之间开展了一场竞赛，
为了注释咱们是怎样经由过程丈量数据反化险为夷的，要先引见一下迁徙过程是怎样进行的:
1.奉告用户，将关闭 yahoo! photos服务，用户可以从列表当选择迁徙到那里。假设选择flickr的话，该用户账号就进人迁徙队列。

2.一旦用户的迁徙任务进入队列，则则锁定该用户的 yahoo! photos账号，防止用户进行修改。此刻 yahoo! photos和 flickr之间进行api对api的通讯，以获取要迁徙的照片数据。
3.flickr获取并处置 yahoo! photos账号的照片及其元数据。

4.将yahoo!photos账号写人 flickr存储和数据库。
迁徙完成后，开放 flickr这边的账号，通知用户可以运用迁徙过来的 flickr新账号了。单个用户的迁徙其实不需求很永劫间，但用户量很大，以是仍是花了很多时间。迁徙过程根本上就是一个大规模的异步过程，每一个异步过程包括创立flickr新账号和批量上载照片。
由于知道迁徙要耗费几个存储、“有机”(非迁徙)增进要耗费几个存储，即便估量缺乏的话，也能够展望出还能够支持的天数。咱们下了一个复杂的定单，来购置存储，并起头计时。确认了发货和装置日期，如许咱们就知道这些存储甚么时辰能够在数据中心上架以及需求多久才气投入运用。
由于运用 ganglia采集数据，3行剧本代码就能够计较出存储的耗费率，而后将这个数字传给卖力迁徙的api进程。照片是存储在散布于美国各地的若干个数据中心的，要确保api进程能够远程得到这个值，并检查正在迁徙数据的一切数据中心。咱们修改了api的处置过程，以便察看存储耗费的速率。若是在已往的一小时存储的耗费率大于维持到新存储上线那天的耗费率，则低落对列队等候迁徙的账号的处置速率，反之，则加快处置速率。前面列出的步调中，咱们在步调2和步调3之间插入了一个检查当前存储耗费率的步调。
由于咱们会按照存储的耗费率调整迁徙的速率，进入队列的账号能够会等候更长的时间。减慢处置过程也是一个不得已的折衷，既要包管迁徙的顺遂进行，又要不影响 flickr确当前营业。
终极，迁徙顺遂完成，没有产糊口生活生计储空间用光的情况。过后看来，咱们的估量是有偏向的，但并无当初想的那末大。迁徙起头时的岑岭使咱们担忧存储会用光，以是即刻部署了更多的存储。但跟着垂垂濒临本来的存储极限，进入迁徙队列的用户也逐步削减了
这个故事注明，将散布在全国多个所在的网站制作丈量数据采集零碎归入反应轮回，能够将pb级照片数据从 yahoo! photos安全地迁徙到 flickr，同日时根本不影响二者的正常运用。