公司做网站 微信平台/推广app
项目部署和使用文档需求说明
一:项目组成说明
系统架构：本系统为经典的BS架构，整个系统有三部分组成：爬虫系统、大屏展示系统、后台管理系统。爬虫系统爬取微博、头条中官方媒体和普通用户所发表的文章和对应文章的评论持久化存储到数据库中供大屏展示系统和后台管理系统分析、可视化展示
前端开发环境：使用的框架:vue、echart、elementUI 语言:html、JavaScript 工具:vscode
后端开发环境：使用的框架:Springboot、SpringMVC、Mybatis 语言:java 工具:IDEA
爬虫开发环境: 使用的框架:flask、pytorch、tensorflow语言:python 工具:pycharm
二:项目部署说明
- 项目部署的系统和硬件需求：
服务器系统：centos7.6，硬件需求：cpu四核、内存8G、硬盘100G
2.项目的部署步骤
2.2.1:下载MobaXterm
MobaXterms是用来连接linux服务器的工具
下载地址：MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Home Edition
选择箭头所指选项下载，下载后解压即可。
打开MobaXterms进行ssh连接服务器
2.2.2:安装docker
1.使用命令：yum install docker 安装docker
2.检查是否安装成功：docker --version
3.安装docker compose:
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
检查是否安装成功：docker-compose --version
4.启动：docker:systemctl start docker
2.2.3:安装mysql
- docker pull mysql:8.0
- 创建mysql容器：docker run -p 3306:3306 --name=mysql8.0 MYSQL_ROOT_PASSWORD=123456 -d mysql:8.0
- 查看MySQL是否运行成功：docker ps
2.2.4:安装redis
1、获取 redis 镜像
docker pull redis
2、查看本地镜像
docker images
3、从官网获取 redis.conf 配置文件
cd /usr/local/ //进入目录
创建myredis文件夹:mkdir myredis
cd ./myredis
makdir data //存储redis数据文件夹
wget http://download.redis.io/redis-stable/redis.conf //下载redis配置文件
vim redis.conf //修改配置文件
- bind 127.0.0.1 #注释掉这部分，这是限制redis只能本地访问
- protected-mode no #默认yes，开启保护模式，限制为本地访问
- appendonly yes #redis持久化（可选）
3、docker 启动 redis
docker run -p 6379:6379 --name redis -v /usr/local/myredis/redis.conf:/etc/redis/redis.conf -v /usr/local/myredis/data:/data -d redis redis-server /etc/redis/redis.conf --requirepass "123456"
-p 端口映射：前表示主机部分，：后表示容器部分。
- --name redis 指定该容器名称，查看和进行操作都比较方便。
- -v 挂载目录，规则与端口映射相同。
- -d redis 表示后台启动redis
- redis-server /etc/redis/redis.conf 以配置文件启动redis，加载容器内的conf文件，最终找到的是挂载的目录/usr/local/docker/redis.conf
4、查看redis状态: docker ps
5、进入redis
docker exec -it redis /bin/bash
进入redis控制台：redis-cli -h 127.0.0.1 -p 6379 -a 123456
2.2.5:安装jdk1.8
1、下载jdk1.8
https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
2在/usr/local下新建目录jdk，常用的目录名有jdk、java
mkdir /usr/local/jdk
3把.tar.gz放到/usr/local/jdk下。
4 cd到/usr/local/jdk，解压，解压完将压缩包删掉
cd /usr/local/jdk
tar -xzvf jdk-8u301-linux-x64.tar.gz
5在/etc/profile文件中配置环境变量
vim /etc/profile
在末尾添加：
#jdk config
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_301
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
6让配置立即生效：
source /etc/profile
7执行java -version看下是否配置成功。
8.按照此路径/usr/yuqing/backend/创建文件夹，将后端所依赖的文件：documentXMLTemp、Hanlp以及yuqing-0.0.1-SNAPSHOT.jar放入/usr/yuqing/backend/该路径下
9 持久化运行jar :nohup java -jar yuqing-0.0.1-SNAPSHOT.jar >log.out &
2.2.6安装nginx
1.获取nginx镜像
docker pull nginx
2.创建 nginx config配置文件
在目录 /usr/local/下创建文件夹mynginx
进入mynginx
将后台管理系统中的dist文件放入mynginx
在mynginx下创建文件default.conf，写入如下内容
server {
listen 8181 ;
server_name 101.34.98.188 ; # 修改为docker服务宿主机的ip 这个一定要修改，修改为你的服务器地址
location / {
root /usr/share/nginx/html;
index index.html index.htm;
try_files $uri $uri/ /index.html =404;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
该配置文件定义了首页的指向为 /usr/share/nginx/html/index.html, 所以我们可以一会把构建出来的index.html文件和相关的静态资源放到/usr/share/nginx/html目录下。
3.在mynginx下创建Dockerfile文件
在目录下创建Dockerfile文件，写入下面内容
FROM nginx
MAINTAINER zhenpeng
RUN rm /etc/nginx/conf.d/default.conf
ADD default.conf/ /etc/nginx/conf.d/
COPY dist/ /usr/share/nginx/html/
说明：
FROM nginx：该镜像是基于nginx:latest镜像构建的
MAINTAINER zouzou：添加说明
RUN rm /etc/nginx/conf.d/default.conf：删除目录下的default.conf文件
ADD default.conf /etc/nginx/conf.d/：将default.conf复制到/etc/nginx/conf.d/下，用本地的default.conf配置来替换nginx镜像里的默认配置
COPY dist/ /usr/share/nginx/html/：将项目根目录下dist文件夹（构建之后才会生成）下的所有文件复制到镜像/usr/share/nginx/html/目录下
4.将vue项目打包（开发环境中，非部署环境，直接到步骤5）
首先确保安装了node.js，npm可用
安装依赖
npm install
构建
npm run build
执行结束之后会在项目根目录下生成一个dist的文件夹
将dist文件夹上传到服务器
5.构建docker镜像
docker build -t vue-cms .
注意不要少了最后的“.”(点)
-t是给镜像命名，.(点)是基于当前目录的Dockerfile来构建镜像
6.查看本地镜像
docker images
到这里我们的vue应用镜像已经创建成功，接下来，我们基于该镜像启动一个docker容器
7.启动docker容器
docker run -d -p 8181:8181 --name myvue-cms vue-cms
docker run：基于镜像启动一个容器
-d：后台方式启动
-p 9090:80: 端口映射，将宿主机的9090端口映射到容器的80端口
--name：容器名，我起的叫myvue-cms
vue-cms：要启动的镜像名称
查看启动的容器
docker ps
9.访问
现在我们已经启动了，访问宿主机的地址:8181就可以看到我们部署的网站了
至此，项目的后台管理系统部署完毕，同样的方法部署大屏展示系统
2.2.7配置爬虫和算法模型所需的库
1 安装anaconda3
1.1 去清华镜像站下载，上传到服务器上
清华镜像站：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
下载的版本见下，下载Linux版本
上传到Linux上：（我选择的路径为：/usr/local/Anaconda）
2.安装
进入自己的安装目录（上面已经提及），开始安装
cd /usr/local/Anaconda
bash Anaconda3-5.3.1-Linux-x86_64.sh
在安装的时候会碰到一路让你Enter和输入yes的过程
一路Enter和yes就完事了，碰到问你装不装Microsoft的VS code时直接No，就结束了全部的安装
中间安装的时候要注意anaconda3的安装路径，我的默认安装到了/root/anaconda3里面去了
看到如下情况，则进入下载阶段，需要等待一段时间
3.环境配置
这时候你进入到安装目录下，键入conda -V没有任何反应
cd /root/anaconda3
conda -V
因此，需要修改配置文件，其所在的目录为家目录下的 ~/.bashrc 可以看到是一个隐藏文件~
3.1 利用vim将其打开进行编辑~
vim ~/.bashrc
3.2 在其最后一行加入 export PATH=$PATH:【你的安装目录】
注意：刚刚提及要注意安装目录（这里要用到），我的为/root/anaconda3/bin
按i进入编辑模式，输入export PATH=$PATH:/root/anaconda3/bin
3.3保存退出后（:wq/:x）进行source
source ~/.bashrc
4.检验
输入：
conda -V
pip list
- 在/usr 文件夹下创建yuqing文件夹
- 将爬虫代码复制到yuqing文件夹下
进入爬虫代码的根目录：cd /usr/yuqing/chinese_sentiment-master
利用anaconda 创建yuqing的虚拟环境，激活环境
使用命令pip install -r requriements.txt安装模型所依赖的库
环境安装完成后使用python tt_keyword_search.py 运行程序