分组问题与教改班

在公司加班,思考一个算法问题:
如何将M个表的数据分到K个桶中去(K不变,M可变)。

  1. 其中表已经排序,最大的表可能需要多个桶才能装下。
  2. 桶大小尽量一样(允许100以内的偏差,即最大桶的数量跟最小桶的数量之差值,不超过100)。
  3. 并且保证表的分割策略是恒定的(假设按单主键取模,那么同一个表的同一个主键,必须分配到相同的桶中去。)

问题定义完,我就知道,这个问题是很困难的。
因为每一批的M个表并不一致,上一次的最大表可能到下一次就沦为小表。
必须要记住每一批表的分配情况,还必须加上批数限制:分割策略在相邻两批内恒定。
以下为极端情况:

  1. 表A,第一批位于桶1, 桶2, 桶3。第二批中A更加庞大,分成三个桶后尺寸超大。(意味着桶大小必须动态平衡, 不能对M个表的总数据进行分批,而应该按照最大表的数据来进行分批)
  2. 表A,第一批位于桶1, 桶2, 桶3.第二批出现极端情况,所有A的数据都位于桶1,且数量达到最大表数据。(意味着表的分割策略要可扩展,且扩展后的分割策略与原始分割策略不交叠,而是有序下分。例如第一层策略是模3, 第二层是模7,诸如此类。)但也无法保证不出现桶等待情况:假设上一批A1mod3在桶1, 本批A1mod3数据量是上批的三倍(意味着要出现在桶1,桶2, 桶3),那么,本批的桶1, 桶 2, 3必须等待上批的桶1完全结束后才能进行处理,不然本批的桶2可能会包含与上批桶1相当主键的记录,在并发中失序,导致数据不一致。

总结:

  1. 数据分批策略:<最大表大小,总数据量> 可以避免超大表的极端情况。
  2. 大表拆分策略: <可扩展,多层次,不交叠> 并不能完全避免桶等待。
  3. 不考虑表优先级的情况,可以采用按桶散列均分的策略。

未来:

  1. 对快表分配固定的通道。
  2. 对其余表用通用算法。

教改班:
把一群尖子交给少数厉害的老师带,期望这群尖子更尖?
其实这种分组方法只是最大化利用了所谓教师资源。但教师资源就能让尖子更尖?
依靠教师的尖子不是真正的尖子。
更好的分类方法:
教学改革,每学期按周分成5个阶段,每个阶段对应固定的教学内容(教材/作业)。教师上课采取选课制度,每阶段学生可以自由换一次。教师集体备课,贡献题库、教材案列,每个教师在内容库中自由组合。监考,阅卷均采取回避原则。班级共同参加文体活动,而不一定在同一个教师处接受学习。习题课以班级为单位进行。
用金克木老爷子的话来讲,好的课堂,应该是老师与学生互动,尖子生主动回答难题,将一般题留给一般生回答。使得课堂效率最大化。

UGC产品:
中心式的UGC产品展示,只能导致僵化。
应该采取推送式季节制,用分配策略使得每个作品得到其应有的曝光度,每个读者尽可能多的欣赏作品。而不是让“大众的口味”(实质是中心式里起得早和运气好的那批)绑架了一整个季节。

(抽象,极大的提升了我们,但又让我们损失了很多很多。)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容