240 发简信
_张逸_
IP属地：四川
  • 180
    _张逸_
  • 180
    _张逸_
    使用Spark读取并分析二进制文件

    需求 客户希望通过spark来分析二进制文件中0和1的数量以及占比。如果要分析的是目录，则针对目录下的每个文件单独进行分析。分析后的结果保存与被分析文件同名的日志文件中，内容...

    3668 0 0
  • 180
    _张逸_

    @DeepLearningZ 关键要有大厂推动，也需要有好的应用做背书。

    Martin Odersky访谈录所思

    ThoughtWorks的「TW洞见」在4月发布了对Scala之父Martin Odersky的访谈。Odersky的回答显得言简意赅，仔细分析，仍然能从中收获不少隐含的信息...

    _张逸_
    1112 9 5
  • 180
    _张逸_ ·

    “成为了哥白尼之前的世人，以为面向对象就是程序员的全部世界” 说的太好了！
    OO我记得是上有图灵奖下有Spring的存在，但这个存在太久了，历史告诉我们，进步就是颠覆，因为唯一不变的就是变化，也可能是这个东西本身变了也可能是环境变了，总之，这个东西不再像当初，就像我们人一样，终有一天、竟变得面目全非。:octocat:

    Queen〇fLaponia 评论自Scala函数式编程
  • 180
    _张逸_
    Spark中进行聚合时的特殊场景

    在对数据进行统计分析时，如果对指标进行聚合运算，而待查询的字段中还包含了维度，则原则上我们还需要按照维度字段进行分组。倘若这个聚合运算为sum函数，分组之后就相当于分类汇总了...

    16588 0 4
  • 120
    180
    _张逸_
    移动开发中的软件架构

    在移动开发领域，我们往往会遇到软件的可扩展性、可复用性以及可维护性等问题，这就涉及到如何做好软件的架构设计或者重构优化工作。结合实践与思考，本文对其中的Android应用软件...

    星禾笔记
    1240 1 12
  • 180
    _张逸_

    “纵向上的层次结构，更侧重逻辑调用和依赖关系，可分为业务层和组件层。”这个层次其实应该是横向上，也就是所谓水平切割，或者分层架构。

    移动开发中的软件架构

    在移动开发领域，我们往往会遇到软件的可扩展性、可复用性以及可维护性等问题，这就涉及到如何做好软件的架构设计或者重构优化工作。结合实践与思考，本文对其中的Android应用软件...

    星禾笔记
    1240 1 12
  • 120
    180
    _张逸_
    代码诊所续

    几年前，我有机会负责一个项目的咨询。团队很小，目标是对旧有系统的后端用Java改写，而团队的开发人员全为C程序员。我的工作职责是负责项目设计、开发，以及担任项目开发过程敏捷化...

    580 0 2
  • 120
    180
    _张逸_
    代码诊所

    几年前，我有机会负责一个项目的咨询。团队很小，目标是对旧有系统的后端用Java改写，而团队的开发人员全为C程序员。我的工作职责是负责项目设计、开发，以及担任项目开发过程敏捷化...

    657 0 3
  • 180
    _张逸_

    我还真不知道。Scala也没这么高贵，说简单的，它就是一门语言，门槛也没有这么高。如果要把Scala写好，确实有难度，但哪门语言不这样呢？

    Martin Odersky访谈录所思

    ThoughtWorks的「TW洞见」在4月发布了对Scala之父Martin Odersky的访谈。Odersky的回答显得言简意赅，仔细分析，仍然能从中收获不少隐含的信息...

    _张逸_
    1112 9 5
  • 180
    _张逸_
    继续探索with语句

    在上一篇博客《漂亮的with，鱼与熊掌可以兼得》中，展现了with的优雅之处，然而在比较with与|>时，言犹未尽，讲得不够透彻。 在那篇博客中，我说： 毕竟with/1并不...

    445 1 3
  • 180
    _张逸_
    推行TDD的思考

    我在参与的开发项目以及咨询项目中，都有实践TDD的经验。直至今日，我仍然会在某些功能开发时采用TDD的方式实现功能。虽然没有达到将TDD溶于开发血液之中形成自然而然的习惯，但...

    1129 0 6
  • 180
    _张逸_
    漂亮的with，鱼与熊掌可以兼得

    假设要加载磁盘上的一个文件，并以二进制形式读取文件的数据。若要从健壮性的角度考虑，需得考虑两种异常情况： 加载文件失败，例如给定的文件路径并不存在该文件 读取文件数据失败，例...

    _张逸_
    501 0 5
  • 180
    _张逸_
    漂亮的with，鱼与熊掌可以兼得

    假设要加载磁盘上的一个文件，并以二进制形式读取文件的数据。若要从健壮性的角度考虑，需得考虑两种异常情况： 加载文件失败，例如给定的文件路径并不存在该文件 读取文件数据失败，例...

    501 0 5
  • 180
    _张逸_

    @福克斯纪 是有这么个问题。我最近因为工作原因，面试了一帮人，都是用Spark作大数据开发的，结果问到scala语言方面的，基本上都不懂。

    Martin Odersky访谈录所思

    ThoughtWorks的「TW洞见」在4月发布了对Scala之父Martin Odersky的访谈。Odersky的回答显得言简意赅，仔细分析，仍然能从中收获不少隐含的信息...

    _张逸_
    1112 9 5
  • 120
    180
    _张逸_
    一次设计演进之旅

    需求背景： 我们需要实现对存储在HDFS中的Parquet文件执行数据查询，并通过REST API暴露给前端以供调用。由于查询的结果可能数量较大，要求API接口能够提供分页查...

    961 0 8
  • 180
    _张逸_ ·

    和我们现在在做的产品架构非常相似，无论从scala语言选型还是tachyon加parquet的数据存储，再到Spark SQL。只不过我们在Spark这层做了硬隔离，沙箱化用户的数据。

    avril23 评论自基于Scala的产品开发实践
  • 180
    _张逸_

    你用的哪个版本的Spark？

    Spark强大的函数扩展功能

    在数据分析领域中，没有人能预见所有的数据运算，以至于将它们都内置好，一切准备完好，用户只需要考虑用，万事大吉。扩展性是一个平台的生存之本，一个封闭的平台如何能够拥抱变化？在对...

    _张逸_
    8657 1 10
  • 180
    _张逸_

    在模式匹配中，每条case是一个unapply，但在本文的语境中，case其实是PartialFunction工厂的语法糖。

    Scala中的map与collect

    在Scala中，当我需要对集合的元素进行转换时，自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时，通常更倾向于在map方法中使用ca...

    _张逸_
    17040 2 4
个人介绍
程序員