分库分表的基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不...
投稿
收录了18篇文章 · 9人关注
-
分库分表需要考虑的问题及方案 -
10亿级别订单的分库分表方案
背景 随着公司业务增长，如果每天1000多万笔订单的话，3个月将有约10亿的订单量，之前数据库采用单库单表的形式已经不满足于业务需求，数据库改造...
-
Python之使用Pandas库实现MySQL数据库的读写本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识。 ORM技术 对象关...
-
记一次datax在ubuntu下cron出现 /bin/sh: 1: java: not found
解决方式：创建shell脚本 /opt/datax/job/xxxx.sh crontab -e0 8 * * * sh /opt/datax/...
-
hdfs命令大全
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdf...
-
sklearn的逻辑回归Logistic Regression（LR）
1. 概述 在scikit-learn中，与逻辑回归有关的主要是这3个类。LogisticRegression， LogisticRegress...
-
Pandas 中文API文档
Pandas官方文档 缩写和包导入 在这个速查手册中，我们使用如下缩写： df：任意的Pandas DataFrame对象s：任意的Pandas...
-
景区评论文本处理与评价分值预测 - 竞赛总结0.前言 二月份上旬参加了一个关于景区评分预测的竞赛，即根据游客对某景区的评论，预测该游客给该景区打几分。比赛还在继续，感兴趣的朋友点这里。 这...
-
Scikit-learn使用总结
在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。学习使用sc...
-
Hive的性能优化以及数据倾斜
hive性能优化 一、Map阶段的优化： （控制hive任务中的map数，确定合适的map数，以及每个map处理合适的数据量）。 map个数影响...
专题公告
收录一些大数据应用、数据挖掘、机器学习与深度学习相关的知识。
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/603887/bigdata.jpg', '推荐专题《数据与未来》（ 分享自 @简书 ）','https://wsa.jianshu.io/c/922034fe80fc?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}