基于腾讯云ubuntu服务器的Scrapy环境搭建


ubuntu中的管理员分配

如果服务器用多个人使用,就需要进行管理员分配,这样可以确保管理员在同一时间对服务器操作时不发生冲突,具体操作方法如下:

  • 在本地使用远程连接你的服务器(这里以MobaXterm软件的SSH方法连接为例)


    SSH设置

    其中:
    --Remote host 对应服务器IP
    --Specify username对应你登录时的用户名及密码(如果你在服务器上设置过)
    --如果你在申请时设置密钥了,请在User private key 添加上你的私钥

连接完成图示
  • 添加管理员用户
    既然是添加管理员,我们得先切换到最高管理员root的权限下,图示ubuntu@VM-17-107-ubuntu:~$ (刻意加粗),前面ubuntu即是说明你当前使用的是名为ubuntu管理员,同时在ubuntu中$ 表明其为普通管理员,而#为系统管理员。但是root用户默认是没有密码的,因此也就无法使用,在这之前我们得为其添加密码:
    * 命令行:sudo passwd root
    (密码输入时是不会显示的,输入后按enter键就行了)

之后进行用户切换:
* 命令行:su root
* 键入密码(普通用户转系统管理员必须键入密码,反之不用)

创建新用户
* 命令行:sudo adduser 用户名(检查root,#)
[sudo]
xx的密码:输入xx用户的密码,出现如下信息
正在添加用户“xxx”...
正在添加新组“xxx”(1006)...
正在添加新用户“xxx”(1006)到组“xxx”...
创建主目录“/ home / xxx”...
正在从“/ etc / skel”复制文件...
输入新的UNIX口令:
重新输入新的UNIX口令:
两次输入xxx的初始密码,出现的信息如下
passwd:密码更新成功
更改xxx 的用户信息
输入新值,或按ENTER键进行默认
全名[]:
房间号码[]:
工作电话[]:
家庭电话[]:
其他[]:
全名[] :等信息一路回车
这个信息是否正确?[Y / n] y
到此,用户添加成功。
你可以在/home文件下查看刚才用户名为名的文件夹。

用户名创建成功后:
* 命令行:su xxx(你的用户名)


对Scrapy进行安装与结构搭建

在这之前你得先进入你文件夹所在目录,命令行语法:
* 命令行:cd ..
* 命令行:cd 管理员文件夹名
创建虚拟目录,并激活:
* 命令行:virtualenv example(文件名可更改)
* 命令行:cd example
* 命令行:ls bin include lib local pip-selfcheck.json
* 命令行:source bin/activate
此时检查你的前端是否以(example)开头,并且该文件应该在用户名文件夹下。
安装相应包解决依赖(apt-get对应系统层安装)
* 命令行:sudo apt-get install build-essential libssl-dev libffi-dev python-dev
使用软件层安装工具前,为保险起见安装软件层所需工具:
* 命令行: sudo apt-get install python-pip
之后添加命令,
* 命令行:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple twisted
* 命令行:pip install cryptography
然后进行最后的一步,
* 命令行:pip install scrapy
创建爬虫项目
* 命令行:scrapy startproject 爬虫项目名
( 至此,前期爬虫的环境和框架就算好了。)


注意:

  • 当然这里我还遇到的其他问题:通过MobaXterm软件的SFTP方法(具体配置与SSH连接相似)在实现文件上传下载时由于权限问题操作不能完成。
    怎么解决勒?方法很多,我们这里提供提高文件夹权限的方法:
    * 命令行:su root
    * 命令行:密码
    还是依照前面进入你的文件夹下的虚拟文件,同时
    * 命令行:sudo chmod 777 爬虫项目名
    完成后(该文件夹及其子文件夹)后便能上传下载文件了。

  • 无论进行何种操作,请留意你前面管理员状态变化,以及你在哪个文件夹下进行操作


推荐:
ubuntu命令行操作(释意说明):[Ubuntu 常用命令整理][1]
[1]: http://www.jianshu.com/p/1340bb38e4aa

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容

  • Ubuntu的发音 Ubuntu,源于非洲祖鲁人和科萨人的语言,发作 oo-boon-too 的音。了解发音是有意...
    萤火虫de梦阅读 99,157评论 9 467
  • 一、文件/文件夹管理 ls 列出当前目录文件(不包括隐含文件) ls -a 列出当前目录文件(包括隐含文件) ls...
    会飞的鱼Coo阅读 4,478评论 1 23
  • 一、文件/文件夹管理 ls 列出当前目录文件(不包括隐含文件)ls -a 列出当前目录文件(包括隐含文件)l...
    路痴千行阅读 2,381评论 0 5
  • Ubuntu 常用命令大全 查看软件 xxx 安装内容 #dpkg -L xxx 查找软件 #apt-cache ...
    guiwuzhe阅读 2,521评论 0 14
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,600评论 18 139