(base) [songxh@mu01 ~]$ conda env create -f /home/songxh/software/HiC-Pro-3.1.0/environment.yml -p /home/s ongxh/miniconda3/envs/ HiC-Pro
Collecting package metadata (repodata.json): done
Solving environment: done
==> WARNING: A newer version of conda exists. <==
current version: 4.12.0
latest version: 22.9.0
Please update conda by running
$ conda update -n base -c defaults conda
Downloading and Extracting Packages
fonttools-4.38.0 | 1.9 MB | ################################################################## | 100%
xyzservices-2022.9.0 | 38 KB | ################################################################## | 100%
font-ttf-inconsolata | 94 KB | ################################################################## | 100%
ncurses-6.2 | 985 KB | ################################################################## | 100%
lzstring-1.0.4 | 6 KB | ################################################################## | 100%
r-digest-0.6.29 | 208 KB | ################################################################## | 100%
libsanitizer-9.5.0 | 6.9 MB | ################################################################## | 100%
requests-2.28.1 | 53 KB | ################################################################## | 100%
r-vctrs-0.4.1 | 1.2 MB | ################################################################## | 100%
scikit-learn-1.1.3 | 8.3 MB | ################################################################## | 100%
toolz-0.12.0 | 48 KB | ################################################################## | 100%
libgfortran5-12.2.0 | 1.8 MB | ################################################################## | 100%
krb5-1.17.2 | 1.4 MB | ################################################################## | 100%
pillow-8.2.0 | 688 KB | ################################################################## | 100%
r-cli-3.4.1 | 1.2 MB | ################################################################## | 100%
gettext-0.21.1 | 4.1 MB | ################################################################## | 100%
r-ps-1.7.1 | 323 KB | ################################################################## | 100%
r-backports-1.4.1 | 110 KB | ################################################################## | 100%
r-matrix-1.4_1 | 4.8 MB | ################################################################## | 100%
libxcb-1.13 | 391 KB | ################################################################## | 100%
r-gridbase-0.4_7 | 181 KB | ################################################################## | 100%
libtiff-4.2.0 | 639 KB | ################################################################## | 100%
icu-68.2 | 13.1 MB | ################################################################## | 100%
xz-5.2.6 | 409 KB | ################################################################## | 100%
gcc_linux-64-9.5.0 | 25 KB | ################################################################## | 100%
locket-1.0.0 | 8 KB | ################################################################## | 100%
setuptools-65.5.1 | 731 KB | ################################################################## | 100%
cffi-1.14.6 | 226 KB | ################################################################## | 100%
humanfriendly-10.0 | 119 KB | ################################################################## | 100%
libev-4.33 | 104 KB | ################################################################## | 100%
libblas-3.9.0 | 13 KB | ################################################################## | 100%
python-3.8.10 | 26.2 MB | ################################################################## | 100%
colormath-3.0.0 | 34 KB | ################################################################## | 100%
distributed-2022.11. | 761 KB | ################################################################## | 100%
r-waldo-0.4.0 | 109 KB | ################################################################## | 100%
xorg-xextproto-7.3.0 | 28 KB | ################################################################## | 100%
pcre-8.45 | 253 KB | ################################################################## | 100%
libgomp-12.2.0 | 455 KB | ################################################################## | 100%
pyyaml-6.0 | 183 KB | ################################################################## | 100%
h5py-3.3.0 | 1.4 MB | ################################################################## | 100%
libbrotlidec-1.0.9 | 33 KB | ################################################################## | 100%
cached-property-1.5. | 4 KB | ################################################################## | 100%
xorg-libxau-1.0.9 | 13 KB | ################################################################## | 100%
urllib3-1.26.11 | 102 KB | ################################################################## | 100%
r-praise-1.0.0 | 24 KB | ################################################################## | 100%
pysam-0.16.0.1 | 2.7 MB | ################################################################## | 100%
pygments-2.13.0 | 821 KB | ################################################################## | 100%
ld_impl_linux-64-2.3 | 675 KB | ################################################################## | 100%
xorg-libx11-1.7.2 | 941 KB | ################################################################## | 100%
binutils_impl_linux- | 4.7 MB | ################################################################## | 100%
bowtie2-2.4.4 | 15.1 MB | ################################################################## | 100%
msgpack-python-1.0.4 | 90 KB | ################################################################## | 100%
libglib-2.68.4 | 3.0 MB | ################################################################## | 100%
r-fs-1.5.2 | 554 KB | ################################################################## | 100%
idna-3.4 | 55 KB | ################################################################## | 100%
r-pkgconfig-2.0.3 | 25 KB | ################################################################## | 100%
r-lifecycle-1.0.2 | 110 KB | ################################################################## | 100%
r-rcolorbrewer-1.1_2 | 64 KB | ################################################################## | 100%
r-mgcv-1.8_40 | 3.0 MB | ################################################################## | 100%
python_abi-3.8 | 6 KB | ################################################################## | 100%
tbb-2020.2 | 1.4 MB | ################################################################## | 100%
readline-8.1 | 295 KB | ################################################################## | 100%
cytoolz-0.12.0 | 397 KB | ################################################################## | 100%
future-0.18.2 | 356 KB | ################################################################## | 100%
heapdict-1.0.1 | 7 KB | ################################################################## | 100%
gcc_impl_linux-64-9. | 43.5 MB | ################################################################## | 100%
xorg-kbproto-1.0.7 | 27 KB | ################################################################## | 100%
liblapack-3.9.0 | 13 KB | ################################################################## | 100%
pyfaidx-0.7.1 | 32 KB | ################################################################## | 100%
samtools-1.12 | 386 KB | ################################################################## | 100%
sortedcontainers-2.4 | 26 KB | ################################################################## | 100%
r-withr-2.5.0 | 240 KB | ################################################################## | 100%
libuuid-2.32.1 | 28 KB | ################################################################## | 100%
pytz-2022.6 | 235 KB | ################################################################## | 100%
r-pkgload-1.3.0 | 191 KB | ################################################################## | 100%
r-diffobj-0.3.5 | 1.0 MB | ################################################################## | 100%
r-tibble-3.1.8 | 695 KB | ################################################################## | 100%
wheel-0.38.4 | 32 KB | ################################################################## | 100%
coloredlogs-15.0.1 | 40 KB | ################################################################## | 100%
commonmark-0.9.1 | 46 KB | ################################################################## | 100%
openjpeg-2.4.0 | 444 KB | ################################################################## | 100%
python-lzo-1.14 | 20 KB | ################################################################## | 100%
asciitree-0.3.3 | 6 KB | ################################################################## | 100%
harfbuzz-3.0.0 | 2.0 MB | ################################################################## | 100%
r-processx-3.7.0 | 330 KB | ################################################################## | 100%
font-ttf-source-code | 684 KB | ################################################################## | 100%
pairix-0.3.7 | 100 KB | ################################################################## | 100%
click-8.1.3 | 74 KB | ################################################################## | 100%
jpeg-9e | 269 KB | ################################################################## | 100%
bwidget-1.9.14 | 120 KB | ################################################################## | 100%
cloudpickle-2.2.0 | 25 KB | ################################################################## | 100%
xorg-libxrender-0.9. | 32 KB | ################################################################## | 100%
spectra-0.0.11 | 19 KB | ################################################################## | 100%
libopenblas-0.3.21 | 10.1 MB | ################################################################## | 100%
gsl-2.6 | 3.2 MB | ################################################################## | 100%
cryptography-38.0.3 | 1.6 MB | ################################################################## | 100%
make-4.3 | 507 KB | ################################################################## | 100%
_r-mutex-1.0.1 | 3 KB | ################################################################## | 100%
libstdcxx-devel_linu | 9.9 MB | ################################################################## | 100%
r-rematch2-2.1.2 | 52 KB | ################################################################## | 100%
pandas-1.5.1 | 13.2 MB | ################################################################## | 100%
r-lattice-0.20_45 | 1.1 MB | ################################################################## | 100%
multiprocess-0.70.14 | 212 KB | ################################################################## | 100%
libiconv-1.17 | 1.4 MB | ################################################################## | 100%
olefile-0.46 | 32 KB | ################################################################## | 100%
psutil-5.9.4 | 348 KB | ################################################################## | 100%
fribidi-1.0.10 | 112 KB | ################################################################## | 100%
sysroot_linux-64-2.1 | 31.4 MB | ################################################################## | 100%
zlib-1.2.13 | 92 KB | ################################################################## | 100%
xorg-libxext-1.3.4 | 54 KB | ################################################################## | 100%
pyvcf3-1.0.3 | 957 KB | ################################################################## | 100%
cairo-1.16.0 | 1.5 MB | ################################################################## | 100%
six-1.16.0 | 14 KB | ################################################################## | 100%
r-viridislite-0.4.1 | 1.3 MB | ################################################################## | 100%
r-scales-1.2.1 | 611 KB | ################################################################## | 100%
pixman-0.40.0 | 627 KB | ################################################################## | 100%
xorg-libice-1.0.10 | 58 KB | ################################################################## | 100%
tktable-2.10 | 89 KB | ################################################################## | 100%
r-desc-1.4.2 | 332 KB | ################################################################## | 100%
tornado-6.1 | 645 KB | ################################################################## | 100%
lzo-2.10 | 314 KB | ################################################################## | 100%
expat-2.5.0 | 189 KB | ################################################################## | 100%
iced-0.5.10 | 2.0 MB | ################################################################## | 100%
cached_property-1.5. | 11 KB | ################################################################## | 100%
ca-certificates-2022 | 150 KB | ################################################################## | 100%
libssh2-1.10.0 | 234 KB | ################################################################## | 100%
r-utf8-1.2.2 | 162 KB | ################################################################## | 100%
pthread-stubs-0.4 | 5 KB | ################################################################## | 100%
pysocks-1.7.1 | 19 KB | ################################################################## | 100%
pcre2-10.36 | 1.1 MB | ################################################################## | 100%
biopython-1.76 | 2.6 MB | ################################################################## | 100%
libcurl-7.76.1 | 328 KB | ################################################################## | 100%
zict-2.2.0 | 20 KB | ################################################################## | 100%
r-magrittr-2.0.3 | 215 KB | ################################################################## | 100%
lz4-4.0.2 | 36 KB | ################################################################## | 100%
certifi-2022.9.24 | 155 KB | ################################################################## | 100%
perl-5.32.1 | 14.4 MB | ################################################################## | 100%
fonts-conda-forge-1 | 4 KB | ################################################################## | 100%
libnghttp2-1.47.0 | 808 KB | ################################################################## | 100%
freetype-2.12.1 | 884 KB | ################################################################## | 100%
dask-core-2022.11.0 | 861 KB | ################################################################## | 100%
r-brio-1.1.3 | 40 KB | ################################################################## | 100%
sed-4.8 | 264 KB | ################################################################## | 100%
r-isoband-0.2.5 | 1.8 MB | ################################################################## | 100%
libgfortran-ng-12.2. | 22 KB | ################################################################## | 100%
r-ellipsis-0.3.2 | 42 KB | ################################################################## | 100%
r-munsell-0.5.0 | 247 KB | ################################################################## | 100%
python-dateutil-2.8. | 240 KB | ################################################################## | 100%
r-labeling-0.4.2 | 67 KB | ################################################################## | 100%
libbrotlicommon-1.0. | 66 KB | ################################################################## | 100%
libwebp-base-1.2.4 | 404 KB | ################################################################## | 100%
libpng-1.6.39 | 276 KB | ################################################################## | 100%
gxx_impl_linux-64-9. | 10.6 MB | ################################################################## | 100%
libffi-3.3 | 51 KB | ################################################################## | 100%
packaging-21.3 | 36 KB | ################################################################## | 100%
openssl-1.1.1s | 2.1 MB | ################################################################## | 100%
r-ggplot2-3.3.5 | 4.0 MB | ################################################################## | 100%
gfortran_linux-64-9. | 24 KB | ################################################################## | 100%
libcblas-3.9.0 | 13 KB | ################################################################## | 100%
xorg-libxdmcp-1.1.3 | 19 KB | ################################################################## | 100%
kiwisolver-1.4.4 | 76 KB | ################################################################## | 100%
simplejson-3.18.0 | 105 KB | ################################################################## | 100%
hdf5-1.10.6 | 3.1 MB | ################################################################## | 100%
libgcc-ng-12.2.0 | 931 KB | ################################################################## | 100%
libgcc-devel_linux-6 | 4.0 MB | ################################################################## | 100%
charset-normalizer-2 | 36 KB | ################################################################## | 100%
yaml-0.2.5 | 87 KB | ################################################################## | 100%
munkres-1.1.4 | 12 KB | ################################################################## | 100%
networkx-2.8.8 | 1.6 MB | ################################################################## | 100%
threadpoolctl-3.1.0 | 18 KB | ################################################################## | 100%
contourpy-1.0.6 | 234 KB | ################################################################## | 100%
multiqc-1.11 | 922 KB | ################################################################## | 100%
libbrotlienc-1.0.9 | 288 KB | ################################################################## | 100%
c-ares-1.18.1 | 113 KB | ################################################################## | 100%
bx-python-0.8.11 | 1.1 MB | ################################################################## | 100%
brotli-bin-1.0.9 | 20 KB | ################################################################## | 100%
cycler-0.11.0 | 10 KB | ################################################################## | 100%
binutils_linux-64-2. | 24 KB | ################################################################## | 100%
typing_extensions-4. | 29 KB | ################################################################## | 100%
font-ttf-dejavu-sans | 388 KB | ################################################################## | 100%
curl-7.76.1 | 149 KB | ################################################################## | 100%
r-mass-7.3_58.1 | 1.1 MB | ################################################################## | 100%
lcms2-2.12 | 443 KB | ################################################################## | 100%
libnsl-2.0.0 | 31 KB | ################################################################## | 100%
pyparsing-3.0.9 | 79 KB | ################################################################## | 100%
_libgcc_mutex-0.1 | 3 KB | ################################################################## | 100%
brotli-1.0.9 | 18 KB | ################################################################## | 100%
xorg-libsm-1.2.3 | 26 KB | ################################################################## | 100%
xorg-renderproto-0.1 | 9 KB | ################################################################## | 100%
libdeflate-1.7 | 67 KB | ################################################################## | 100%
dask-2022.11.0 | 6 KB | ################################################################## | 100%
font-ttf-ubuntu-0.83 | 1.9 MB | ################################################################## | 100%
libedit-3.1.20191231 | 121 KB | ################################################################## | 100%
r-jsonlite-1.8.0 | 960 KB | ################################################################## | 100%
dill-0.3.6 | 81 KB | ################################################################## | 100%
r-gtable-0.3.1 | 174 KB | ################################################################## | 100%
brotlipy-0.7.0 | 342 KB | ################################################################## | 100%
r-rprojroot-2.0.3 | 115 KB | ################################################################## | 100%
r-farver-2.1.1 | 1.4 MB | ################################################################## | 100%
bzip2-1.0.8 | 484 KB | ################################################################## | 100%
xorg-libxt-1.2.1 | 375 KB | ################################################################## | 100%
dataclasses-0.8 | 10 KB | ################################################################## | 100%
r-fansi-1.0.3 | 323 KB | ################################################################## | 100%
pycparser-2.21 | 100 KB | ################################################################## | 100%
r-rcpp-1.0.9 | 2.0 MB | ################################################################## | 100%
cooler-0.8.11 | 77 KB | ################################################################## | 100%
gfortran_impl_linux- | 14.6 MB | ################################################################## | 100%
r-colorspace-2.0_3 | 2.5 MB | ################################################################## | 100%
r-nlme-3.1_159 | 2.3 MB | ################################################################## | 100%
kernel-headers_linux | 707 KB | ################################################################## | 100%
graphite2-1.3.13 | 102 KB | ################################################################## | 100%
libstdcxx-ng-12.2.0 | 4.3 MB | ################################################################## | 100%
htslib-1.12 | 2.1 MB | ################################################################## | 100%
bokeh-3.0.2 | 11.9 MB | ################################################################## | 100%
r-base-4.0.3 | 23.7 MB | ################################################################## | 100%
partd-1.3.0 | 18 KB | ################################################################## | 100%
libxml2-2.9.12 | 772 KB | ################################################################## | 100%
zipp-3.10.0 | 14 KB | ################################################################## | 100%
rich-12.6.0 | 170 KB | ################################################################## | 100%
r-pillar-1.8.1 | 672 KB | ################################################################## | 100%
libzlib-1.2.13 | 64 KB | ################################################################## | 100%
fonts-conda-ecosyste | 4 KB | ################################################################## | 100%
scipy-1.7.0 | 21.8 MB | ################################################################## | 100%
pango-1.48.10 | 403 KB | ################################################################## | 100%
fontconfig-2.14.1 | 365 KB | ################################################################## | 100%
tblib-1.7.0 | 15 KB | ################################################################## | 100%
pip-22.3.1 | 1.5 MB | ################################################################## | 100%
markdown-3.4.1 | 65 KB | ################################################################## | 100%
joblib-1.2.0 | 205 KB | ################################################################## | 100%
pyopenssl-22.1.0 | 122 KB | ################################################################## | 100%
importlib-metadata-5 | 23 KB | ################################################################## | 100%
matplotlib-base-3.6. | 7.5 MB | ################################################################## | 100%
unicodedata2-15.0.0 | 497 KB | ################################################################## | 100%
lz4-c-1.9.3 | 179 KB | ################################################################## | 100%
r-callr-3.7.2 | 427 KB | ################################################################## | 100%
r-evaluate-0.16 | 85 KB | ################################################################## | 100%
sqlite-3.37.0 | 1.5 MB | ################################################################## | 100%
numpy-1.21.1 | 6.2 MB | ################################################################## | 100%
markupsafe-2.1.1 | 22 KB | ################################################################## | 100%
r-crayon-1.5.1 | 164 KB | ################################################################## | 100%
zstd-1.4.9 | 431 KB | ################################################################## | 100%
r-glue-1.6.2 | 154 KB | ################################################################## | 100%
gxx_linux-64-9.5.0 | 25 KB | ################################################################## | 100%
_openmp_mutex-4.5 | 23 KB | ################################################################## | 100%
xorg-xproto-7.0.31 | 73 KB | ################################################################## | 100%
tk-8.6.12 | 3.3 MB | ################################################################## | 100%
fsspec-2022.11.0 | 96 KB | ################################################################## | 100%
jinja2-3.1.2 | 99 KB | ################################################################## | 100%
r-r6-2.5.1 | 89 KB | ################################################################## | 100%
r-testthat-3.1.4 | 1.6 MB | ################################################################## | 100%
r-rlang-1.0.6 | 1.5 MB | ################################################################## | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
# $ conda activate /home/songxh/miniconda3/envs
#
# To deactivate an active environment, use
#
# $ conda deactivate
(base) [songxh@mu01 ~]$
PREFIX = /home/songxh/miniconda3/envs/bin
BOWTIE2_PATH = /home/songxh/miniconda3/envs/bin/bowtie2
SAMTOOLS_PATH = /home/songxh/miniconda3/envs/bin/samtools
R_PATH = /home/songxh/miniconda3/envs/bin/R
PYTHON_PATH = /home/songxh/miniconda3/envs/bin/python
CLUSTER_SYS = TORQUE
make configure
make
Hic Pro 使用 HiC Pro 环境配置及使用 - 腾讯云开发者社区-腾讯云 (tencent.com)
如果已经完成 config-hicpro.txt 的相关配置和文件的生成,可跳过 参数文件 章节。
参数文件
生成 bowtie2 index 文件。
bowtie2-build --threads 16 /home/songxh/Rwork/wsw/00ref/1270.build_all2.fa shuiniuhic
shuiniuhic 为生成文件的前缀
生成genome.sizes文件
1.整理基因组文件,生成 bed 文件
/home/songxh/software/HiC-Pro-3.1.0/bin/utils/digest_genome.py 1270.build_all2.fa -r dpnii -o shuiniuhic_dpnii.bed
#/HiC-Pro-3.1.0 为 HiC Pro 所在目录,可根据 使用章节中的介绍判断,例子中为 Docker 环境中的所做目录。
#-o 为生成 bed 文件的文件名
2.建立 .fai 文件,根据这个 .fai 文件和原始的 fasta 文件, 能够快速的提取任意区域的序列。
该命令对输入的 fasta 序列有一定要求:对于每条序列,除了最后一行外, 其他行的长度必须相同。
samtools faidx 1270.build_all2.fa
#生成的文件名为 fasta 文件的文件名加 .fai 文件后缀,如上例子中得到:1270.build_all2.fa.fai
3.根据 fai 文件,提取 基因对照组,即 .sizes 文件
awk '{print $1"\t" $2}' 1270.build_all2.fa.fai >genome.sizes
如果你拿到的是 bam 文件,需要生产 fastq 文件,可通过下面的文件生成 fastq 文件。
bedtools bamtofastq -i E234_R1_2.hicup.bam -fq E234_R1_2.fastq
HiC-Pro/UTILS.md at master ·nservant/HiC-Pro ·GitHub
/home/songxh/software/HiC-Pro-3.1.0/bin/utils/digest_genome.py -r dpnii -o shuiniu_dpnii.bed 1270.build_all2.fa
#Analyzing 1270.build_all2.fa
#Restriction site(s) GATC #识别位点
#Offset(s) 0
#chr1...
#chr8...
利用Homer进行motif分析–从实战到原理 | Public Library of Bioinformatics (plob.org)
Releases · nservant/HiC-Pro (github.com)
conda安装Hic-Pro - 简书 (jianshu.com)
hicpro分步走 - 简书 (jianshu.com)
HiC数据分析实战之Hic-pro - 腾讯云开发者社区-腾讯云 (tencent.com)
科学网—HiCPro分析流程详解 - 卢锐的博文 (sciencenet.cn)
HiCPro分析流程及结果解读 - BPSO_mynotes - 博客园 (cnblogs.com)
HiC-Pro使用
其实HIiC-Pro的使用方法简单来讲主要有三个参数:
HiC-Pro -c config-hicpro.txt -o analysis -i data
/home/songxh/software/HiC-Pro-3.1.0/bin/HiC-Pro -c /home/songxh/software/HiC-Pro-3.1.0/config-hicpro.txt -o /home/songxh/cres/H/10output -i /home/songxh/cres/H/01data
$ /usr/local/bin/HiC-Pro_2.11.1/bin/HiC-Pro -i path/data -c path/config-hicpro.txt -o path/outfile
#-i 输入的是fastq文件所在路径,需要注意的是:文件路径是指fastq文件所在位置的上两层
#-c 为HiC-Pro的config-hicpro.txt 文件所在路径
#-o 为输出文件路径
conda activate /home/songxh/miniconda3/envs
hicpro分步走
ref1:github: https://github.com/nservant/HiC-Pro
ref2: 说明书:http://nservant.github.io/HiC-Pro/
ref3:谷歌论坛:https://groups.google.com/forum/?nomobile=true#!forum/hic-pro
完整
HiC-Pro -i test_data -o hicpro_output -c config.txt
step1:mapping:
HiC-Pro -i test_data -o hicpro_output -c config.txt -s mapping
#生成:hicpro_output/bowtie_results/bwt2/dixon_2M/ {bwt2 bwt2_global bwt2_local}
step2:proc_hic
HiC-Pro -i hicpro_output/bowtie_results/bwt2/ -o hicpro_output/ -c config.txt -s proc_hic
#生成:hicpro_output/hic_results/data/dixon_2M(各种pairs文件)
#要求:只要在目录下有R1/R2两个比对好的bam文件即可
step3:quality_checks
HiC-Pro -i hicpro_output/hic_results/data/ -o hicpro_output/ -c config.txt -s quality_checks
#生成: hicpro_output/hic_results/pic/dixon_2M/xxx.pdf
build_contact_maps
cp hicpro_output/hic_results/data/dixon_2M/SRR400264_00_GRCh37.bwt2pairs.validPairs hicpro_output/hic_results/data/dixon_2M/SRR400264.allValidPairs
#因为需要有XXX.allValidPairs
HiC-Pro -i hicpro_output/hic_results/data/ -o hicpro_output/ -c config.txt -s build_contact_maps
#生成:hicpro_output/hic_results/matrix/dixon_2M/raw/50000/XXX.matrix
step5:ice_norm
HiC-Pro -i hicpro_output/hic_results/matrix/ -o hicpro_output/ -c config.txt -s ice_norm
#生成:hicpro_output/ice_norm/hic_results/matrix/dixon_2M/iced/50000/XXX.matrix