Haobo's Blog

总结放开头 创建进程池可以形象的理解为创建了一个能够并行的流水线，只消耗一次创建流水线的成本，处理接收到的的任务。相对的，如果不使用进程池，每个要求并行的任务都会新建一次进程，浪费时间。 编程中本来没有进程池的概念的，除了python，其他的语言都是使用线程池（而进程是执行分隔开的任务）。python因为GIL的原因（仅限Cython），线程无法并行，所以把线程池的概念迁移到了进程，命名为进程池。 python进程池 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程。 但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。 初始化Pool时，可以指定一个最大进程数 当有新的请求提交到Pool中时 如果池还没有满，那么就会 创建 一个新的进程用来执行该请求； 如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。 进程池如何使用？ apply() 函数原型：apply(func[, ...

one argument process Notice that args should be itrable. like index. But we can use a little trick to tackle none iterable ones. 12def func(resolver): return resolver.getFormatedVocaloidDataInDict() We put a “,” after none iterable args. 1results = [pool.apply_async(func, args=(resolverX,)) for resolverX in [resolver for i in range(num_cores)]] template 123456789101112131415161718# import datetimeimport multiprocessing as mp# # initialise the poolnum_cores = int(mp.cpu_count())# print(" ...

参考：精确率和召回率 @菜鸟瞎编 评论精选：确实是这样的，真的怀疑定义这个的人脑子有坑，你说他第一个是 预测值，第二个是 真值 不好吗，本来一个很简单的问题，搞得这么复杂。 精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，也就是 P=TPTP+FPP=\frac{TP}{TP+FP} P=TP+FPTP​ 而召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。 R=TPTP+FNR=\frac{TP}{TP+FN} R=TP+FNTP​ 其实就是分母不同，一个分母是预测为正的样本数，另一个是原来样本中所有的正样本数。

什么是数据池 数据池的现状 为什么出现了数据池的概念 数据池未来有哪些应用场景 数据池的搭建 数据池搭建的要求 数据池的搭建过程 数据池的维护需求 补充 参考 封面：P站画师ID：4790;こいしちゃんが好きです

模型评估与优化 模型评估 性能度量 ① 错误率与精度 错误率和精度是分类问题中常用的性能度量指标，既适用于二分类任务，也适用于多分类任务. 错误率（error rate）：指分类错误的样本占样本总数的比例，即 （ 分类错误的数量 / 样本总数数量） 精度（accuracy）：指分类正确的样本占样本总数的比例，即 （分类正确的数量 / 样本总数数量） 精度=1−错误率精度 = 1 - 错误率 精度=1−错误率 ② 查准率、召回率与F1得分 错误率和精度虽然常用，但并不能满足所有的任务需求。例如，在一次疾病检测中，我们更关注以下两个问题： 检测出感染的个体中有多少是真正病毒携带者？ 所有真正病毒携带者中，有多大比例被检测了出来？ 类似的问题在很多分类场景下都会出现，“查准率”（precision）与“召回率”（recall）是更为适合的度量标准。对于二分类问题，可以将真实类别、预测类别组合为“真正例”（true positive）、“假正例”（false positive）、“真反例”（true negative）、“假反例”（false negative）四种情 ...

聚类问题 概述 聚类（cluster）与分类（class）问题不同，聚类是属于无监督学习模型，而分类属于有监督学习。聚类使用一些算法把样本分为N个群落，群落内部相似度较高，群落之间相似度较低。在机器学习中，通常采用“距离”来度量样本间的相似度，距离越小，相似度越高；距离越大，相似度越低. 相似度度量方式 ① 欧氏距离 相似度使用欧氏距离来进行度量. 坐标轴上两点x1,x2x_1, x_2x1​,x2​之间的欧式距离可以表示为： ∣x1−x2∣=(x1−x2)2|x_1-x_2| = \sqrt{(x_1-x_2)^2} ∣x1​−x2​∣=(x1​−x2​)2​ 平面坐标中两点(x1,y1),(x2,y2)(x_1, y_1), (x_2, y_2)(x1​,y1​),(x2​,y2​)欧式距离可表示为： ∣(x1,y1)−(x2,y2)∣=(x1−x2)2+(y1−y2)2|(x_1,y_1)-(x_2, y_2)| = \sqrt{(x_1-x_2)^2+(y_1-y_2)^2} ∣(x1​,y1​)−(x2​,y2​)∣=(x1​−x2​)2+(y1​−y2​)2​ 三维 ...

逻辑回归 概述 什么是逻辑回归 逻辑回归（Logistic Regression） 虽然被称为回归，但其实际上是分类模型，常用于二分类。逻辑回归因其简单、可并行化、可解释强而受到广泛应用。二分类（也称为逻辑分类）是常见的分类方法，是将一批样本或数据划分到两个类别，例如一次考试，根据成绩可以分为及格、不及格两个类别，如下表所示： 姓名 成绩 分类 Jerry 86 1 Tom 98 1 Lily 58 0 …… …… …… 这就是逻辑分类，将连续值映射到两个类别中。 逻辑函数 逻辑回归是一种广义的线性回归，其原理是利用线性模型根据输入计算输出（线性模型输出值为连续），并在逻辑函数作用下，将连续值转换为两个离散值（0或1），其表达式如下： y=h(w1x1+w2x2+w3x3+...+wnxn+b)y = h(w_1x_1 + w_2x_2 + w_3x_3 + ... + w_nx_n + b) y=h(w1​x1​+w2​x2​+w3​x3​+...+wn​xn​+b) 其中，括号中的部分为线性模型，计算结果在函数h()h()h()的作用下，做二 ...

线性模型 概述 线性模型是自然界最简单的模型之一，它描述了一个（或多个）自变量对另一个因变量的影响是呈简单的比例、线性关系.例如： 住房每平米单价为1万元，100平米住房价格为100万元，120平米住房为120万元； 一台挖掘机每小时挖100m3100m^3100m3沙土，工作4小时可以挖掘400m3400m^3400m3沙土. 线性模型在二维空间内表现为一条直线，在三维空间内表现为一个平面，更高维度下的线性模型很难用几何图形来表示（称为超平面）.如下图所示： 二维空间下线性模型表现为一条直线 三维空间下线性模型表现为一个平面 线性回归是要根据一组输入值和输出值（称为样本），寻找一个线性模型，能最佳程度上拟合于给定的数值分布，从而再给定新的输入时预测输出.样本如下表所示： 输入(x) 输出(y) 0.5 5.0 0.6 5.5 0.8 6.0 1.1 6.8 1.4 6.8 根据样本拟合的线性模型如下图所示： 线性模型定义 设给定一组属性x,x=(x1;x2;...;xn)x, x=(x_1;x_2;...;x_n)x,x=(x1​; ...

人工智能课程概述 什么是人工智能 人工智能（Artificial Intelligence）是计算机科学的一个分支学科，主要研究用计算机模拟人的思考方式和行为方式，从而在某些领域代替人进行工作. 人工智能的学科体系 以下是人工智能学科体系图： 机器学习（Machine Learning）：人工智能的一个子学科，研究人工智能领域的基本算法、原理、思想方法，机器学习研究的内容在其它子学科都会用到 计算机视觉（Computer Vision）：研究计算机处理、识别、理解图像、视频的相关技术 自然语言处理（Natural Language Processing）：研究计算机理解人类自然语言的相关技术 语言处理：研究计算机理解识别、理解、合成语音的相关技术 人工智能与传统软件的区别 传统软件：执行人的指令和想法，在执行之前人已经有了解决方案，无法超越人的思想和认识范围 人工智能：尝试突破人的思想和认识范围，让计算机学习到新的能力，尝试解决传统软件的难题 课程介绍 课程内容 课程内容主要包括： 课程特点 内容多：包括机器学习、深度学习、计算机视觉、NLP、常用框架 难度 ...

数值型描述统计 算数平均值 S=[s1,s2,...,sn]S = [s_1, s_2, ..., s_n]S=[s1​,s2​,...,sn​] 样本中的每个值都是真值与误差的和。 mean=(s1+s2+...+sn)nmean = \frac{(s_1 + s_2 + ... + s_n) }{n}mean=n(s1​+s2​+...+sn​)​ 算数平均值表示对真值的无偏估计。 123m = np.mean(array)m = array.mean()m = df.mean(axis=0) 案例：针对电影评分数据做均值分析： 123mean = ratings['John Carson'].mean()mean = np.mean(ratings['John Carson'])means = ratings.mean(axis=1) 加权平均值 求平均值时，考虑不同样本的重要性，可以为不同的样本赋予不同的权重。 样本：S=[s1,s2,s3...sn]S = [s_1, s_2, s_3 ... s_n]S=[s1​,s2​,s3​ ...

杨丝儿，Discover304，第02面。

什么事网络安全，为什么要学习网络安全，有这个方向的打算吗？

基本绘图 绘图核心API 案例： 绘制简单直线 123456789101112131415161718192021import numpy as npimport matplotlib.pyplot as plt# 绘制简单直线x = np.array([1, 2, 3, 4, 5])y = np.array([3, 6, 9, 12, 15])# 绘制水平线、垂线plt.axhline(y=6, ls=":", c="blue") # 添加水平直线plt.axvline(x=4, ls="-", c="red") # 添加垂直直线# 绘制多段垂线plt.vlines([2, 3, 3.5], # 垂线的x坐标值 [10, 20, 30], # 每条垂线起始y坐标 [25, 35, 45]) # 每条垂线结束y坐标 [],[],[] 位置，开始位置，结束位置 plt.plot(x, y) *********************** ...

pandas介绍 Python Data Analysis Library pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入 了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。 pandas核心数据结构 数据结构是计算机存储、组织数据的方式。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。 Series Series可以理解为一个一维的数组，只是index名称可以自己改动。类似于定长的有序字典，有Index和 value。 1234567891011121314import pandas as pdimport numpy as np# 创建一个空的系列s = pd.Series()# 从ndarray创建一个Seriesdata = np.array(['张三','李四','王五','赵柳'])s = pd.Series(data)s = pd.Series(data ...

numpy概述 Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力。 Numpy是其它数据分析及机器学习库的底层库。 Numpy完全标准C语言实现，运行效率充分优化。 Numpy开源免费。 numpy历史 1995年，Numeric，Python语言数值计算扩充。 2001年，Scipy->Numarray，多维数组运算。 2005年，Numeric+Numarray->Numpy。 2006年，Numpy脱离Scipy成为独立的项目。 numpy的核心：多维数组 代码简洁：减少Python代码中的循环。 底层实现：厚内核©+薄接口(Python)，保证性能。 ndarray 数组 用np.ndarray类的对象表示n维数组 123import numpy as npary = np.array([1, 2, 3, 4, 5, 6])print(type(ary)) # <class 'numpy.ndarray'> 内存中的ndarray对象 元数据（metadata） 存 ...

关键词：javascript 单线程本质，html5，worker，nodejs

什么是 DDNS？ DDNS（Dynamic Domain Name Server，动态域名服务）是将用户的动态IP地址映射到一个固定的域名解析服务上，用户每次连接网络的时候客户端程序就会通过信息传递把该主机的动态IP地址传送给位于服务商主机上的服务器程序，服务器程序负责提供DNS服务并实现动态域名解析。 DDNS的使用场景分析 在中国，面向社会的服务器是需要备案的，而备案的时候是需要使用一个固定的公网ip备案的。因此很多人想要使用DDNS实现网站搭建的小伙伴就要失望了（说的就是我）。 但是这里面有一个细节，面向社会提供服务的需要备案，那么不提供服务且有意阻止社会人员访问服务器的应用场景，如个人计算服务器、私人云盘（如群辉的家庭云服务），就不需要备案了。 用python实现DDNS 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071from aliyunsdkcore ...

结论放前面： 现阶段最强的是 YOLOX，代码已开源 YOLO最开始很简单，v2v3提供了一定的优化，v4猛堆料，v5优化了内存。 YOLO 特点 yolo 其他 YOLO训练和检测均是在一个 单独网络中 进行。 RCNN采用分离模块。包括之后的 Faster RCNN YOLO将物体检测作为一个 回归问题 进行求解，输入图像经过一次inference，便能得到图像中所有 物体的位置 和其 所属类别 及相应的 置信概率 。 而rcnn/fast rcnn/faster rcnn将检测结果分为两部分求解：物体类别（分类问题），物体位置即bounding box（回归问题）。 优势 速度快。YOLO将物体检测作为回归问题进行求解，速度比其他模型快。 背景误检率低。YOLO在训练和推理过程中能‘看到’整张图像的整体信息。 通用性强。YOLO对于艺术类作品中的物体检测同样适用。它对非自然图像物体的检测率远远高于DPM和RCNN系列检测方法。 问题 相较于其他方法，YOLO识别物体位置精准性差。 召回率较低，会识别不出来物体。 YOLO 模型设 ...

@ 作者：达内 Python 教学部，吕泽 @ 编辑：博主，Discover304 Linux操作系统认知 操作系统（Operation System简称OS） 定义 操作系统是管理计算机硬件与软件资源的计算机程序，同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。 操作系统功能 管理好硬件设备，为用户提供调用方法 是计算机中最重要的系统环境 管理各种其他的软件和程序的运行 对系统中文件进行管理 操作系统分类 桌面系统：Windows ，MacOS为主，图形界面良好用户群体大。 服务器系统：Linux，Unix为主，安全，稳定，费用低占有量大。windows占有率比较低。 嵌入式系统：Linux为主，主要用于小型智能设备，如智能手机，机器人等。 Linux系统介绍 Linux 诞生 1991 年 林纳斯（Linus） 就读于赫尔辛基大学期间，对 Unix 产生浓厚兴趣，林纳斯经常要用他的终端仿真器（Terminal Emulator） ...

知识 OKR，Objectives and Key Results，目标与关键结果。 OKR 是确保将 整个组织的力量 都聚焦于完成对所有人都 同样重要的事项 的一套管理方法。 目标就是你 想要实现的东西，不要将其夸大或者缩小。根据定义，目标是重要的、具体的、具有行动导向并且能鼓舞人心的。如果设计合理并且实施的当，目标能够有效地防止思维和执行过程中出现模糊不清的情况。 关键结果是 检查和监控我们如何达到目标的标准。有效的关键结果应该是具体的、有时限的且具有挑战性的，但又必须是能够实现的。最重要的是，他们必须是可衡量的、可验证的。 OKR 的价值：体现的是公司最重要的目标，能 引导员工共同努力和协作，将不同的业务联系在一起，为 整个组织提供明确的目标和凝聚力。 CFR：持续性绩效管理（Conversation对话，Feedback反馈，Recognition认可），OKR的近亲。 OKR 的四大利器 对优先事项的聚焦和承诺：推动 重要任务的筛选，帮助 聚焦关键的成功要素。 团队工作的协同和联系：OKR具有 透明性，且每个人的目标与公司计划紧密联系，为每个人的工作赋予了意义。同时 ...