Python list数据集转换为numpy时经常报错的巧妙解决

Python数据分析时，有时候将一个大数据集的list文件装换为numoy的array形式进行处理起来相对方便（个人觉得比list方便多了），但是由于数据集比较大，常常会报以下的MemoryError错误：

> np.asarray(vcf_data_filter_class)
---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
Input In [54], in <cell line: 1>()
----> 1 np.asarray(vcf_data_filter_class)

File /usr/local/python-3.8.13/lib/python3.8/site-packages/numpy/core/_asarray.py:102, in asarray(a, dtype, order, like)
     99 if like is not None:
    100     return _asarray_with_like(a, dtype=dtype, order=order, like=like)
--> 102 return array(a, dtype, copy=False, order=order)

MemoryError: Unable to allocate 3.19 TiB for an array with shape (1304712, 7) and data type <U95963

首先，是对这个错误的理解：
MemoryError错误一般是由于内存不够导致的，最后无法形成这个“<U95963”的类型，那么这个“TiB”和“TB”到底有啥区别呢？

TiB是tebibyte的简写，一个tebibyte相当于2^40 个字节。

TB是terabyte的简写，一个terabyte等于10^12个字节。

那么，是如何计算的？

2^40 = 1099511627776
10^12 = 1000000000000

可以看出二者约有10%的差距，即1个TiB相当于1.1个TB。在存储空间的领域，10%就不是一个无足轻重的差距了，应该弄清楚明白一点。
那么，对于KB和KiB，MB和MiB，GB和GiB之间的不同的道理也就是一样的，只不过差距没有TB和TiB之间这么大罢了。

理解了这一点，我们就知道如何巧妙的解决这个问题了，可以再numpy.asarray的时候加一个dtype=‘object’的参数，将其转换为对象格式，就可以解决了。

> np.asarray(vcf_data_filter_class, dtype='object')
array([['chr1', 925952, 'G', ..., 'NC_000001.11:g.925952G>A',
        'Uncertain_significance', 'criteria_provided,_single_submitter'],
       ['chr1', 925956, 'C', ..., 'NC_000001.11:g.925956C>T',
        'Likely_benign', 'criteria_provided,_single_submitter'],
       ['chr1', 925969, 'C', ..., 'NC_000001.11:g.925969C>T',
        'Likely_benign', 'criteria_provided,_single_submitter'],
       ...,
       ['chrMT', 16021, 'C', ..., 'NC_012920.1:m.16021C>T',
        'Uncertain_significance', 'criteria_provided,_single_submitter'],
       ['chrMT', 16023, 'G', ..., 'NC_012920.1:m.16023G>A',
        'Uncertain_significance', 'criteria_provided,_single_submitter'],
       ['chrNW_009646201.1', 83614, 'TC', ...,
        'NW_009646201.1:g.83615del', 'Benign',
        'criteria_provided,_single_submitter']], dtype=object)

希望对你有用！那就点个赞呗，也可以和我交流共同学习，微信：abo1028