240 发简信
IP属地:山东
  • 120
    做一次黑客,入侵一次服务器

    前言 前两天刚买了个腾讯服务器(CVM),这次登陆上去的时候特别卡,通过top发现负载特别高,因为是刚搭建的环境,也没有运行什么应用程序,所以我觉得这有点不正常。 我就想着把...

  • 120
    SparkStreaming使用mapWithState时,设置timeout()无法生效问题,解决方案和原因过程分析!

    前言 当我在测试SparkStreaming的状态操作mapWithState算子时,当我们设置timeout(3s)的时候,3s过后数据还是不会过期,不对此key进行操作,...

  • 120
    我的程序员之路03:我和大数据

    前言 又是一年乍暖还寒,春天的风迎面而来,凉意中夹杂着些许温暖。哦,你知道,是春天来了。就像那年的实习期,在挥手告别的毕业季,定格在了那年的七月。 人会怀念,怀念青涩时期的自...

  • 复习七天通过软考高级系统架构师经历

    前言 软考复习的方式可以分为两种:报班和自学。当然也有加QQ要求共同分摊网课费用的,当然被我义正言辞地无情拒绝。原因很简单:没钱。于是前前后后自学了七天,最终考过了系统架构师...

  • 120
    爬虫入门到放弃系列04:我对钱没有兴趣

    前言 我们身处大数据时代,数据趋于透明化、公开化,我们是否就可以拿着数据为所欲为?几年前很多人向往着"车厘子自由",同样在也有很多人也追求着技术自由。时至今日,我们可以在合法...

  • 爬虫入门到放弃系列03:爬虫如何模拟人的浏览行为

    前言 上一篇文章主要讲了如何解析网页,本篇文章主要来写一下如何发起请求。可能看过前两篇文章的人就开始疑惑了,请求?你不是说一行代码就可以搞定了么。的确,一行代码就能搞定。但是...

  • 120
    爬虫入门到放弃系列02:html网页如何解析

    前言 上一篇文章讲了爬虫的概念,本篇文章主要来讲述一下如何来解析爬虫请求的网页内容。 一个简单的爬虫程序主要分为两个部分,请求部分和解析部分。请求部分基本一行代码就可以搞定,...

  • 120
    爬虫入门到放弃系列01:什么是爬虫

    序章 18年初,还在实习期的我因为工作需求开始接触Java爬虫,从一个网站爬取了163W条poi数据,这是我人生中写的第一个爬虫,也是唯一的一个Java爬虫。后来这些poi数...

  • 120
    slf4j、log4j、log4j2、logback到底用哪些jar

    前言 SparkStreaming用久了,打算学习一下Flink,就从官网下载了Flink 1.11,打算搞一个客户端,将程序提交在yarn上。因为Flink从1.7之后就不...

个人介绍
个人微信公众号:入门到放弃之路
整理一些java、python、大数据的自学经验