目录:
01、经验总结
一、项目需求
二、历史项目数据乱——总结
三、工作日记
=======================================
=======================================
01、经验总结:
1、20200312星期四。关键词:项目需要网页环境、服务器环境、需求清单、反馈问题
2、20200313星期五.关键词:数据源,不会的及时反馈问题
4、梳理历史项目:历史集成数据先把历史清单
理清楚,并梳理数据交换
过程抽取清单
(包括数据分类,源库表名,源库链接方式,目标库表名,数据交换频率,抽取时间,交换名称,交换路径)
5、任务跟踪:每天分的任何任务
都要追踪
,比如一周时间都是整理字典也需要今天整理的内容是什么。比如一周都是修改历史数据集也要知道修改到什么地方了完成进度为30%还是50%。
6、计划按总分格式统计:见5/50、20200317星期二
付图,总是把控项目完成情况,分是做任务追踪
7、服务器要能够互通
,比如我们部署工具的服务器就不能访问中间库和共享库,导致7个系统不能配置数据质量(项目经理现在不敢给客户提网络的要求,客户训人能说一个小时)
8、在项目过程中,如果跟需求不一致
的地方要单独列出来
9、坚持不懈的达到需求(即使改了四五次也要坚持)
10、工作中不明确的需求不明确的操作步骤要及时反馈,比如接口配置。
11、项目招标时应该明确各功能模块
的主要需求
。比如固定源中处理的5张表(工商、行业、行政区、标准、专调)是重新建库,还是沿用以前的表,以及表结构。这个应该得熟悉公司得产品才行。
12、自己负责的第一个项目
,每周任务
一定要跟组长参考
一起,不要临时的时候自己随便写个任务上去,最可怕的是在自己不知道业务流程的情况下随便写个任务上去(前两个项目都要问组长)
13、别人提的需求
一定要清楚
,即使是项目经理
也要问清楚。比如说数据有问题要问清楚是时间有问题,还是字段有问题,是一张表还是所有的表。(具体情况见16/50、20200401星期五)
14、每周五或者星期一,一定要写下本周需要解决的问题
或者存在的问题
。哈哈,另外我想要我们组长的计划安排表,下周问她要。
15、如果开发没时间修改产品bug,就给项目经理反馈,比如会影响项目什么进度,会影响什么功能(并确定什么时间
可以修改好)
16、如何梳理工作开展逻辑:要开展某项工作
的时候大胆去做
,虽然内心害怕着急、不知道怎么做、不知道会出现什么问题、。在尝试
开展工作、发现问题、反馈问题、解决问题
中才能梳理出正确的业务逻辑。
17、在做项目的时候,我犯了一个最大的错误。历史项目在做升级
时候一定要要清楚,在沿用历史数据或者沿用历史报表的时候一定要问清楚。这部分数据是完全保留
还是更改
,保留是所有的保留还是部分保留。比如我做大连项目的时候就犯了一个很大的错误(报表迁移过来之后,第一我擅自把筛选条件删除,第二我传了一个默认的时间参数进去。当初在修改的时候花费了8个工作日,后来项目验收的时候发现该问题又花费了8个工时修改)
18、在给政务共享推送数据的时候,我犯了一个很大的错误,政务共享的系统是其他公司开发的。给客户说我们数据推送过去之后,客户直接把数据发布了(客户发布该数据集之前存在一个问题,可能我们没有检查该数据,可能会导致出现数据问题,或者挂的目录存在问题。当然我就犯了这个问题,被客户说了一大顿)。所以以后在给客户直接推送数据时,或者在不是我们得系统
上面推送数据
时,一定要咨询清楚该数据什么时间范围内
可以修改
。
19、因为是做的历史升级项目,会又停用得系统,会用任然在使用得系统。针对任然在使用的系统,一定要咨询清楚该系统数据是否要保证及时性。同时并修改相应的交换平台。
20、因为是市级项目,我们项目中接的数据,根本不是源库(源库是指业务系统产生数据时存放的数据库),而是中间库。比如上海的项目几乎所有的数据都是从中间库集成到项目中使用的数据库。明白源库在哪
一、项目需求:
项目需求1:4月3号前,处理项目历史数据。包括数据质量、报表、数据字典、元数据采集、给前置机推数据。针对历史所有系统,已停用的系统不用做数据质量的检查
项目需求2:新数据的集成,数据质量检查、报表配置、给前置机推数。
项目需求3:固定源治理,固定源平台
二、历史项目数据乱——总结
接触这个项目一个月了,但是觉得数据乱。为什么我觉得历史的数据乱,主要体现两方面
一:在给客户共享数据过程中,需要从历史的数据中梳理出逻辑,并把数据推到客户的前置数据库。
因为我不知道历史数据表有哪些,也不知道历史数据的表解释。结果是虽然这些都不知道,也要给客户推数据正确的数据。所以一看见3000张表就脑袋大。
还是因为自己不自信吧,如果自己足够自信,100%的保障自己的对应字段就是正确的,每次项目经理找我的时候我就可以拒绝这个需求。
二:需要配置数据数据的数据质量,虽然我不知道有些哪些,但是我也得配数据质量。所以需要自己去确定。网络不通也是干扰自己的一个原因。
最后针对项目的数据,历史的数据我就不管了,3000张表90%没注释,自己是理不清楚的。历史项目我只负责我自己已经做过的部分,其他部分不用管。
现在自己还有一个比较困扰的事情,开发和运维做了的工作,自己没时间检查数据质量。如果不检查,出了错自己要挨骂,下周问问组长。加油加油!!!组长让我负责一个项目也是在培养我。
三、工作日记
1/50、20200312星期四
关键词:项目需要网页环境、服务器环境、需求清单、反馈问题
9点给运维和开发分配今天的任务,计划9:20讲解今日工作。在次检查工作需要的环境,环境又报错,跟部署截图反馈问题。
项目经理突然找到我要核对某个数据,20分钟
这期间环境好了,立刻给运维开发讲解今日工作并录制视频。
下午1点项目经理跟我核对缺失字典的数据表,而我把本次项目需求外的系统名称也加进来了,恍然大悟没有看需求清单
。
看需求清单发现不知道怎么找对应的系统名,折腾了2个小时。
目前整体项目的清单还没列好,进度还需要不断跟自己的组长沟通
2/50、20200313星期五
关键词:数据源,不会的及时反馈问题
崩溃:早上8点59项目经理就找我沟通数据。沟通数据项目经理的思路就是我们看源头数据,然后就一张表一张表的核对,每个字段每个字段的看,哪个字段对应关系没找到后期还要更新还要维护。
核对了2个小时,这个项目经理核对数据就让我电脑屏幕共享,他的事情优先级就是最高的,如果不回消息3分钟内就会收到电话。
总之在核对源头数据之前一定要看清楚数据源链接,特别是针对我们这种一个数据分类多个数据来源,还有来源是停用。
给开发讲了今天的工作,继续给客户在推数据。下午核对了项目需求系统,整理了缺失字典的系统。
因为今天的工作前两天加班做了,本计划早上10点开始学习算法,结果做了很久项目上的事情,3点半开始学习算法。
感受:自己负责项目数据真的很心累,要做自己的工作,自己有不会的问题,同事会问问题,还要跟其他部门沟通,还要跟项目经理沟通。上午就做了30分钟自己的工作。
==================
==================
好吧我又在加班,给自己填坑,依旧是不明白数据需求
,自己没有拆分清楚(比如31个系统是哪31个系统名称)
刚才我上级直接问我做了什么:本周完成内容下周工作计划,然后我又加班去写。
刚才犯了一个错误:写下周计划有个地方写错了,哎不仔细,又要挨骂。
3/50、20200315星期天
开了2个小时的会议,我的周末…………
星期天下午的时候开了开了一个会议,因为自己第一次参与项目,害怕遗漏,所以录了视频。
在安排工时的时候,每一个模块都定了预计工时,而本次会议的主题就是讨论每个模块工时是否合理(当然更多是减少时间)。其实整个会议听下来还是比较懵的,自己也不敢发言,除了我其他人在公司都是三年以上的。
即使不发言有一点非常重要:当别人在预计自己工作工时的时候,一定要注意,如果预估的工时太低了一定要提出来,不然完不成任务,只能自己加班。
今天的收获就是每周要总结,并未下周列计划,大概的格式如下:
我突然明白为什么做这个项目很累:
之前自己领导安排自己工作的时候,她不会去测试工具是否可以用,只需要给我们安排相应的工作,如果工具报错是我们解决,而不是我领导解决。
这个项目每个模块如何做如何实施自己都要提前明白,提前发现问题提前解决。因为这个项目只有运维和开发支持,而他们并没做过数据工作,他们工作中遇见的问题他们不会主动解决,只会告诉你,然后还是自己解决。
如果在他们工作中发现问题才去解决,双方的时间都会耽误。特别是支持的人员,会觉得报错了那我就不做勒,等错误解决了我在来做。
最近失眠特别严重,就是11点上床躺着12点还没睡着,为什么最近睡不着,不知道为什么每天自己一直在忙工作而留给自己学习的时间却很少。就感觉这个项目很多问题,理不清也解决不完。把项目中遇见的问题写下来吧。
4/50、20200317星期一
今天依旧在家远程办公,再次核对需求清单,拆分项目时间(最大时间为5天)。
在次核对功能清单时才发现,为什么我一直分不清31个系统,即使31个系统指什么。他们在梳理数据清单的时候,有9张表(数据集)也称为9个系统,系统中重复的系统也算的2个系统名,导致我一直分不清31个系统。
总之很多坑吧,反正别人给的需求清单不了解的一定要问清楚,理解清楚。
举几个例子: 31个老系统,36个新系统,停用系统。
老系统包含什么系统,新系统包含哪些系统。他们功能清单新系统老系统写得很坑,把数据集也当做系统称呼
针对升级项目有3点吧:
1、先处理历史数据,在集成新数据
2、31个系统中其中已集成29个系统。他们间对应关系
3、在梳理数据质量的时候分类用新系统还是用老系统的系统名称
4、遇见不清楚的地方一定要问明白,并及时反馈。
突然自己就长大了,好想回到刚毕业的时候。那时候一切刚好。晚安
5/50、20200317星期二
今天在公司上班,人很少。
上午依旧在处理遗留问题,主要是历史数据存在大量源库链接不上,导致历史数据无法判断其数据质量的好坏,无法进一步修正数据。不知道为什么我做这个居然整理了了上午的时间。
主要是在跟项目经理沟通数据问题,找产品部署的帮忙修改产品bug。
今天在整理数据质量的时候发现一个问题,虽然按照系统分类,写了相应的人员,但是在做分类工作的时候还是回遇见问题。
下午开了需求评选会,就在静静的听别人分享。
比如在判断历史数据质量的时候。之前没列出来的都会重新去找,比较麻烦。做某项工作的时候可以做一个累计的,比如:
- 多少个需要配置数据质量规则,多少个系统不配置规则原因是什么?
- 需要配置系统规则明细:
- 问题系统名称:
6/50、20200318星期三
给自己定了个计划,连续写项目计划50天。今天又加班到8点
做项目最大的问题就是不知道还有什么事情要做。之前一直不知道给运维给开发布置什么工作,特别着急。
后来发现资源库还没梳理,历史数据很乱。主要两点:
1、数据库业务数据表很多,不清楚有用的表不用的表,在用的表更新频率是怎样的?
2、历史数据缺少90%字典,不知道他们之前怎么把项目交给客户的。丢给我一堆一期的资料,然后自己当初找数据字典的时候只查看了一个文档,没有多看资料。
所以决定让他们把资源库完整梳理一遍,格式如下:
因为要修改历史配的报表,没修改过报表,所以下午的时候一直研究如何修改历史报表查询条件,插入条件如何设置如何修改。毕竟要让开发做,所以流程自己要先熟悉先了解。
今天最大的感悟就是:历史项目数据集成作业、频率需要理清楚。历史字典需要完善。终于知道项目需求了,所以项目需求里面的一定要问清楚,有不懂的地方就问。
之前自己项目需求不清楚也是有原因的,毕竟他们把一张表也说成一个系统谁知道呀。摸着石头过河。
7/50、20200319星期四
今天上午依旧在梳理修改历史数据集的逻辑。
出现个问题:就是挂的数据集只有247个,但是配置了500多个报表(有废弃的报表,但是没有删除)。如果根据数据集名称搜索报表就会出现问题。
今天是把历史数据集理清楚了,挺开心的。
8/50、20200319星期五
今天继续修改历史数据集,在家办公,效率不高不是很专心。白天的工作基本上没什么问题,因为把历史数据集的修改流程明白了。
周四周五,一期做项目的运维都在整理数据字典,周四没有对他的整理结果进行跟踪,当时分任务的时候也不明确,只是让他整理数据字典,并没有说从什么系统开始整理。
周五看见他发给我的整理的整理,我就想哭。2天时间就整理了这么一点点,10个小时就整理了6000行字段的注释,关键我只看见了一个系统的数据字典。第一反应是想哭,第二反应是不是他整理的结果没有给我发完。
所以啦以后每天分的任何任务都要追踪。及时让他整理一周的数据字典,我也要看看当天他整理的结果怎么样,有不有什么需要调整的。
好啦,又到周五。又要汇报本周完成计划及下周工作内容。
在写下周工作内容的时候,感觉自己接下来做的又不懂。比如历史主题库数据质量配置,历史主题库元数据采集。关键是我连历史的主题库的表有哪些过程,我都不知道是什么………………又是一个漫长的梳理过程,本周在梳理修改历史数据集指标项的时候,梳理了4个小时才知道怎么开展。
对于下周工作有4个问题:
- 1、元数据最大的问题还是不知道历史主题库有哪些系统,主题库的表有哪些。
- 2、资源目录挂的地址挂的位置要看下。
- 3、下周继续跟踪历史的源库链接问题,脑袋痛。
- 4、还有个问题,业务数据集成只有500多张表,但是数据库却又3000张表,不知道这些表怎么来的。
9/50、20200324星期一
本周主要有4个问题,今天把资源目录的梳理已完成,有问题的已反馈给文佳姐。
还有两个问题3个问题待解决:
1梳理历史系统进主题库的表(比较难,根本没找到)
2检查数据质量
3核对不能连上主题库的系统
如果你有时间在核对下数据清单,这个历史数据真的很烦,主要不知道哪些表是有用的。
我突然觉得负责项目数据就是
即使在家远程,从早上9点工作到下午6点。
历史数据他们怎么用,历史
10/50、20200324星期二
今天工作开心
但是我不开心
不知道为什么,公司每个项目部署的产品都是一样,但是每次新部署的时候,就会有很多很多的问题。每个功能都有问题。
历史数据乱主要体现在:
1、数据库中没字典
2、不知道这些数据怎么集成过来,导致不知道数据的交换频率。比如像某些架构是数据库集成过来的,但是在数据抽取时表却不齐全(这个最难)
3、不知道字典分布在哪些文档中(这个问题正在解决中)
等第二轮数据字典添加完之后,就让开发补全整理数据清单,并且统计数据库中却字典的字段名,表名。
之前一直在纠结为什么数据这么乱,为什么历史数据一致理不清楚,字典加不完。之前都是发一堆字典让运维整理,然后运维整理的结果都不是我想要的。今天决定把历史的数据字典也梳理一下,梳理好了之后让运维或者开发整理。
现在负责项目数据给我的感受就是:很多活可能不是我干而是让别人干,但是项目流程梳理,问题处理需要自己负责、自己解决,工具问题也得我自己解决(每天哭着求开发经理给我改BUG)。好的是自己现在还可以问下上级。目前整个项目的计划还算正常。
觉得自己挺幸运的,来公司10个月就单独负责整个项目数据
10/50、20200324星期三
历史数据真的太乱,决定不在整理不在纠结历史数据。
不清楚数据源、找不到交换频率、找不到字典、不知道这个表干嘛用的。纠结好多天了,决定不纠结了。等会在写,在想想这个历史数据怎么处理
依旧很纠结这个历史数据,做得太乱了。几年前要求不严吧,现在数据越来越规范了。
20200327星期四
不明确公司的业务吃的亏
从周三开始自己就在跟组长说产品表的事情,也在项目群里沟通产品表的事情,但是得到的结果就是自己找靠自己找,然后就这样找了1天也才找到6张产品表
然后在今天下午的时候,组长才给我说,我们公司每个项目的产品表都是固定的,表名固定表结构固定............好吧,应该大家都忘记了,不然不会我问了三次才给我说有产品表.
然后又用了2个小时确定表名.后面的工作就是按照其他项目一样的方法做得.
其实现在自己对公司的项目更加熟悉了,不在是以前只会做分配的工作,虽然技术还是以前的技术,但是自己还是成长很多.
今天下班事,下班项目经理给我说客户催着验收项目.我挺惊讶的才做1个月,600多万的项目就该验收了吗.然后项目经理一直问我某个板块的功能能不能省时间,然后还好自己比较聪明(说这个自己不是很熟悉,要问我的组长和**).
11/50、20200327星期五
好伤心,今天还要规则名称给梳理出来,还要一个一个整理出来,气哭了,还是得积极面对,还是得改到最终的格式直到能够交给业务部门.
虽然自己这次格式整理了很久,但是自己有问题反馈还是不错的,交给业务部门的表格提前给主管看还是不错的(给主管看了5次).虽然及时反馈但是存在个问题,每次都是整理完后才给组长看的,如果我整理了几个就给组长看,会少用很多时间.还是没有明白需求吧.刚开始让我整理出数据自己也没问格式,而是按照自己的思维方式在整理.
我就来这记录下我自己的心情而已,因为不开心.
今天整理这个表格修改了5次,这个记录不是表扬自己,自己中间心态也低落过,甚至被气哭了,不过还是接着干,因为这个项目你在做你就得负责.(在家远程办公,忙着大连的项目自己赶进度,还要跟进其他两个人做的事,四川的项目还要我解决问题,然后特别心烦)一遍又一遍的问组长然后得到的结果一次又一次是不可以不可以.
想去感受清晨,万物复苏的样子.躺着听窗外的风声.开心.
12/50、20200330星期一
今天计划开展接口的工作,结果发现工具还没部署+不知道接口在什么地方配置。然后就在等开发部署接口平台,自己在梳理关系。
对于一期做的项目真的十分讨厌。特别是自己不清楚表
目前公司项目常见的工具:智能生产线,元数据平台、数据交换、接口服务平台(需要加接口目录,接口数据源)、数据质量平台。
13/50、20200331星期二
今天是星期二,接口平台还没部署好,11点部署好接口平台。下午跟开发一起发布接口,已经知道在什么地方发布接口,但是接口发布中的规范还不知道。
还好自己发现了问题并及时反馈给组长(比如接口中的字段能不能是中文,传参只能传编码吗,字段是否需要加中文注释)
得到的结果是,接口不能有中文,传参只能是编码,需要加注释。虽然又重新做了,但是数据质量更高了,不然以后自己又要重新改。
所以对于在工作中不明确的步骤要即时反馈,不能等自己做完在反馈
上午反馈了固定源存在的问题,以前有5张产品表(行政区、行业、工商、标准、工商表),开展固定源需要使用到这5张表,如何处理是重新建库,还是以前的数据停用。针对这个问题讨论了40分钟,对于里面开展的流程自己还不是很熟悉吧。
不过有一点自己挺有感触的。
14/50、20200401星期三
今天在家远程上班。
上午跟开发一起赔了报表的接口做到下午四点,四点的时候平台有报错了。开发也没时间看bug。
然后就去看了专调表和标准表,看的时候只有一个感觉数据乱,特别乱,找不到从什么地方开始做。
然后就一致盯着数据看,数据乱得什么话都不想说。
15/50、20200401星期四
今天在公司上班,早上八点半的时候项目经理就给我打电话问我数据库链接方式,无语。
上午还是决定开始做固定源的工作,自己好像也不知道固定源的具体操作步骤。虽然之前做了3个城市的固定源项目,但是每天做什么工作都是组长分配好了的,自己只管做就好了。不需要我自己梳理业务逻辑,不需要自己安排工作进度。
当我在去看数据的时候,才发现数据一堆问题。然后把问题反馈给组长但是效率并不高,用了3个小时才把行政区和行业编码表更新。
下午在更新专调表数据。
有三件事让自己很无语:1、数据库不能查数据了,2、部署的产品全挂了不能正常使用,3、项目经理找我说服务器的事情。
总感觉自己每天做得事情很少,不仅要给梳理工作流程,还得跟其他部门人员沟通,还要给运维和开发说做什么事情以及怎么做。
比如周一的时候确认接口发布的事情,从早上到下午一直在问,都没回复。工具还是第二天上午的时候才部署好。
我们组长说了,如果下次开发在不改产品bug,直接给项目经理说,给项目经理说会影响项目什么进度,会影响什么功能
下周我就给项目经理反馈问题。
16/50、20200401星期五
《项目经理》
1.及时性
今天在家远程办公,本来实在学习hive sql的,结果项目经理八点半就给我打电话给我说数据有问题,让我给他共享屏幕,然后今天共享了一天的屏幕。
我觉得我们项目经理有个问题,每次都没说清楚客户说的什么问题,当然自己也没有问清楚。比如今天早上他说数据有问题,说很多数据时间***什么什么的。然后自己也没问清楚。
数据不及时,本来是1个小时可以解决的问题,结果他传达出来解决了3个小时。
还有他每次就觉得数据有问题都要让我给他演示。从最原始的数据,一个字段一个字段的看。
2.字段对应关系
本来就一张表的字段对应关系有问题,他非要说很多表的对应关系有问题。也时自己不自信。
3.加班做项目吧
虽然自己无数次排斥,但是数据还是要推过去,还是要推正确。不是我要加班,是项目经理让我加班的。
《关于历史数据乱的总结》
今天我总结了一下,为什么我觉得历史的数据乱。主要体现两方面,一:在给客户共享数据过程中,需要从历史的数据中梳理出逻辑,并把数据推到客户的前置数据库。
因为我不知道历史数据表有哪些,也不知道历史数据的表解释。结果是虽然这些都不知道,也要给客户推数据正确的数据。所以一看见3000张表就脑袋大。
还是因为自己不自信吧,如果自己足够自信,100%的保障自己的对应字段就是正确的,每次项目经理找我的时候我就可以拒绝这个需求。
二:需要配置数据数据的数据质量,虽然我不知道有些哪些,但是我也得配数据质量。所以需要自己去确定。网络不通也是干扰自己的一个原因。
最后针对项目的数据,历史的数据我就不管了,也不想理了。历史项目我只负责我自己已经做过的部分,其他部分不用管。
现在自己还有一个比较困扰的事情,开发和运维做了的工作,自己没时间检查。如果不检查,出了错自己要挨骂,下周问问组长。加油加油!!!组长让我负责一个项目也是在培养我。
《我的组长》
好的,今天我的组长又说了我20分钟,也是自己工作没负责好。比如不知道固定源的项目流程而不知道早点问。比如任务不会报不知道早点问她,最后缺随便填的一个任务上去。
自己负责的第一个项目,每周任务一定要跟组长参考一起,不要临时的时候自己随便写个任务上去,最可怕的是在自己不知道业务流程的情况下随便写个任务上去。
虽然我组长说我,但是我挺谢谢我组长的,谢谢她愿意提出我的问题,我不知道在以后的工作中还能不能遇见。记录下来,在以后的工作中督促自己。
加油加油,一定把大连项目做好。现在历史数据已经解决了(数据只管自己接触的部分)
固定源按照操作流程走,一定要加油努力!!!珍惜机会
下周工作问题:
1、跟项目经理反馈生产线问题,连不上数据库,经常报错(不能检查数据质量)。跟项目经理反馈部署的交换平台不能定时执行(并确定什么时间可以改好)
2、跟秀姐和龙哥沟通标准表数据,是保留数据表,还是生成新的标准表数据。如果历史标准表的数据来源不在规定的数据源里面如何处理。
3、看固定源实施步骤,不要自己想当然的做。虽然标准表很乱,但是我们只管那几个字段就好。加油
4、问雪姐要进度管理计划表。问雪姐每周五几点提交下周计划和本周完成进度,问雪姐我没时间检查他们做的数据怎么办。
17/50、20200407星期二
清明节的时候,星期天加班3小时,星期一加班2小时,崩溃。都是项目经理让推数据。
任务1:服务器环境安装
任务2:环评数据推送
任务3:项目部署工具问题梳理
又迁服务器了,安装软件,配置JDK。。。。。
今天组长说我最近没怎么加班,然后我内心有点不满,首先自己每天都是加班的只是没有报而已,第二单独做一个项目,特别闹心。
不仅要梳理逻辑(这个一般是最操心的),还要发现一大堆问题,还要解决问题,给别人讲解如何工作,还要赶项目进度。
加油!今天解决一个问题,但这个问题不是最重要的问题
18/50、20200408星期三
任务1:数据逻辑核对
任务2:数据推送
任务3:今天给秀秀姐确定了标准表如何开展
今天又核对了行政处罚和环评审批的数据。给项目经理共享了一天的桌面。
每次项目经理跟我一个字段一个字段核对数据的时候就很心烦。
---根据目标表查找交换名称
select a.name 转换名称 from KETTLE6.R_TRANSFORMATION a
left join KETTLE6.R_STEP_ATTRIBUTE b
on a.ID_TRANSFORMATION=b.ID_TRANSFORMATION
where b.VALUE_STR like '%HB_HBQZ002%'-----目标表表名
今天比较着急,一边对行政处罚和环评的数据一边想着自己专调表还没处理。
然后跟项目经理对完数据之后,还让我推送数据,然后回家又加班了2个小时。
19/50、20200409星期四
任务1:数据推送
任务2:专调表业务数据逻辑修改
我知道这个项目会收获很多,但是的确很累,今天在家上班但是任然加班到八点。
今天在处理公司企业信息表数据(专调表),在一次体会了历史数据如何之乱。我很好奇为什么这些数据不重新接入,重新接入数据,这样可以更好的梳理数据,很疑惑。
数据乱主要有4点:
1.不清楚专调源有多少类业务数据的企业信息
2.历史业务信息进专调中,虽然有该交换,但是专调表并没数据类别
3.历史专调表还抽取了某DB2数据库中的专调表整张表数据【很疑惑,关键是现在这个库连接不上了】
4.历史PKID没有数据源缩写。。。。进专调表是逻辑有问题(怎么能主键不在目标表中的数据进更新进去勒)
等我明天做地铁的时候想吧,我看书去了
20/50、20200410星期五
任务1:专调表问题总结及反馈
任务2:工商数据集成,业务数据进专调修改
明明今天很忙却不知道自己做了什么,时间没有管理好。
上午的时候修改了四川的进数据的逻辑,用了一分钟的时间。
针对专调表的问题纠结了很久,首先查找以前进专调的转换,其次查看源表,最后沟通专调表的开展方案,耗时3.5小时。
昨天也在修改专调表的逻辑,但是在按照以前逻辑做的时候存在很多问题,梳理得头痛,当时也没有想到专调表重新生成。
给我的感受就是:在开展工作中问题肯定会遇见的,在没进行该业务很多问题并不能预测。所以要开展某项工作的时候大胆去做,在尝试开展工作、发现问题、反馈问题、解决问题中才能梳理出正确的业务逻辑。
今天把昨天的工作又重新梳理了一下。
今天江西的运维找我,然后很傻的我居然答应了帮他加班处理数据,明明自己大连这边天天加班忙成狗。下次绝对不给自己挖坑。
下次我应该这样说:
你给我们组长说 ,我这边都安排满了,让组长那边排一下计划
今天在写本周工作,下周计划的时候变聪明了,并且在写下周计划的时候,写好之后还反馈给组长审核是否合理。今天做的这点特别棒。当然罗,自己也修改了四五次次。
21/50、20200411星期六
今天在家加班,填昨天给自己挖的坑。加班了5个小时才完成。结果就是自己没时间学习自己的知识。
下周工作问题:
1.检查以前的工作,并让项目经理检查
2.跟进工具数据问题,填写项目计划
下周的工作相对轻松点,要去公司上班了,也得加强学习了