存档

文章标签 ‘Python’

MxNet 深度学习框架安装(一)

2017年3月1日 没有评论

最近是想看看深度学习的东西,网上有搜索一下,貌似MxNet还不错,于是打算选择该库作为入手。

作为系列文章的第一篇,当然是安装拉,这里以windows 10安装为例,Ubuntu上的就再等等吧。

在安装之前,大家需要深度学习的使用语言,多为python和c+之类的。MxNet支持的语言比较多,对R也支持。

首先,我们需要安装Python,从官网上下载安装包,衣服自己洗这里选择的是3.6的版本,一路无脑下一步即可。在安装完成后,请确保python的路径已经被添加到系统的环境变量下。

接下来,再安装 pip,从官网上下载文件到本地,然后运行

python get-pip.py install

安装完成后,请添加python目录下的scripts目录到系统的环境变量下。接下来安装 numpy,进入 https://pypi.python.org/pypi/numpy,选择对应的whl版本,下载到本地,然后运行

pip install numpy.whl

在开始的时候,衣服自己洗选择的从网上安装,总是会失败,搜索了一番才果断采用离线安装,很是顺利。

下面就是正主上场拉,从https://github.com/dmlc/mxnet/releases下载预编译好的包,由于我的机器不支持cuda,所以就下载的是cpu的版本,例如20160531_win10_x64_cpu.7z,解压缩到本地,这样的东西我还是放到C盘根目录下比较保险点。

对于想玩CUDA的同学,请先到nvadia去注册,然后下载他们的SDK,解压缩后放到mxnet\3rdparty\cuda 目录下。

最后一步就是准备配置了,按照官方的readme文件,进入到mxnet的目录,双击运行setupenv.cmd来配置环境变量。再进入到 mxnet\python目录,运行 python setup.py install.

如果一切都顺利的话,应该是可以安装成功的。

如何验证呢,运行下面的命令

C:\> python
>>> import mxnet as mx
>>> a=mx.nd.zeros((2,3))
>>> print(a.asnumpy())

如果结果为

[[0. 0. 0.]
[0. 0. 0.]]

就表明mx安装成功拉。

如果你想使用C++来开发的话,请使用mxnet\lib目录下的文件:libmxnet.dll和libmxnet.lib。

今天的内容就到此结束,看起来很简单,确实花了一个下午的时间才理清。有什么不懂的,欢迎留言。

分类: 日常 标签: , ,

Python初试

2015年1月13日 没有评论

工作上最近有遇到一个事情,服务器收集的日志信息里,对于日期格式的字符串描述采用的是yyyy-M-d的方式,而后端逻辑程序对这块的处理的不够(这个让衣服自己洗很是迷惑),但由于跨部门利益关系,问题的解决优先级不够高。

于是,一个折衷的思路就是在后端逻辑处理日志前,先通过某种方式来个预处理。递归遍历目录下的所有子目录和文件,打开文件,正则查找到要处理的日期字符串,替换,然后保存。看起来不太复杂。

由于是Linux服务器,同时也因为一些原因,服务器上也无法安装mono,所以通过c# 写处理程序的方式就行不通。剩下的就分为下面几种思路:

  1. shell 命令
  2. perl/python 脚本
  3. C/C++ 程序

问题就在于我对这些都不会,最开始是想用c++来处理。然后网上搜索了一通资料,对于跨平台的c++,也碰到些问题,例如io.h头文件是没有的,对于正则估计还得用boost之类的,然后后面使用 strncat 这样的函数简直是给弄恶心了。所以在连抄带猜地写完目录遍历后,我就放弃了。Java 程序,我觉得还是算了吧。

我觉得为解决这个事情去学一个语言,成本是不是太高了点,想抱个大腿。找到了@屈屈,他很快就给出了答案,这就是差距。

for i in `ls *.txt`;do mv -f $i `echo $i | sed ‘s/-\([0-9]\)/0\1/g’`;done

虽然不能完全看懂啥意思,不过看起来很绚丽,对不对~多谢屈屈的帮助。

后来网上又下了个Python电子版教程,简单看了下,网上各种搜索和抄袭,最后弄了个Python的脚本,也算是勉强交差吧。

code

import os
import re
import sys

dir = “/Users/mmcer/temp”
if len(sys.argv) > 2:
dir = sys.arg[1]

def check(dir):
for f in os.listdir(dir):
file = os.path.join(dir,f);
if os.path.isdir(file):
check(file)
#pass
elif os.path.isfile(file):
if(f.startswith(“.”)):
#filter Linux system file
pass
else:
print “path is ” + file
think(file)

def think(path):
file = open(path,”r”)
content = file.read()
file.close();

reg = re.compile(“(\d{4})-(\d+)-(\d+)”,re.M)
matches = reg.findall(content)

for match in matches:
year = match[0]
month = match[1]
day = match[2]
old = year + “-” + month + “-” + day

_year = match[0]
_month = match[1]
_day = match[2]

if len(year) == 2:
_year = “20” + year
if(len(month) == 1):
_month = “0” + month
if(len(day) == 1):
_day = “0” + day

newStr = _year +”-” + _month + “-” + _day

content = content.replace(old,newStr)

file = open(path,”w”)
file.write(content)
file.close()

check(dir)

两种思路都提供给对方了,至于如何选择就看人家怎么使用了。

分类: 日常 标签: