python项目一般要多少行代码(2023年最新分享)
发布时间:2025-05-13 13:25:08 发布人:远客网络
一、python项目一般要多少行代码(2023年最新分享)
导读:今天首席CTO笔记来给各位分享关于python项目一般要多少行代码的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
纯 Python代码量最大的 Sentry几乎达到了 70W行,这是相当有规模的项目了。30W~50W行代码的项目有三个,包括基础项目 CPython在内。
从我知道的信息看,用动态语言开发的最大规模的项目可能要算是 OpenStack,据说代码总量已经达到数百万行,并且还在持续增加中。这当然是一个说明动态语言能力的好例子,不过像这样巨大的项目,要分析起来也并不容易。
据说可以达到百万行,并且还在持续增加。
Python代码量最大的Sentry几乎达到了70W行,这是相当有规模的项目了。
动态语言至少在几十W行代码的项目上是完全没有问题的这也是绝大多数普通应用的上限了,如果代码真的达到数百万行规模的话,那么无论用什么语言,都势必面临着拆分项目的问题。
python的开发效率每天可以100-150行代码。对于一些熟练的程序员来说每天100行代码是正常的生产率,包括需求分析、设计、编码、单元测试和系统测试。
Python实现一个大数据搜索引擎需要多少行代码
十几万行吧
首先创建了一个容量为10的的布隆过滤器
然后分别加入‘dog’,‘fish’,‘cat’三个对象,这时的布隆过滤器的内容如下:
然后加入‘bird’对象,布隆过滤器的内容并没有改变,因为‘bird’和‘fish’恰好拥有相同的哈希。
最后我们检查一堆对象(’dog’,‘fish’,‘cat’,‘bird’,‘duck’,’emu’)是不是已经被索引了。结果发现‘duck’返回True,2而‘emu’返回False。因为‘duck’的哈希恰好和‘dog’是一样的。
主要分割使用空格来分词,实际的分词逻辑中,还会有其它的分隔符。例如Splunk的缺省分割符包括以下这些,用户也可以定义自己的分割符。
](){}|!;,‘”*\n\n s\t amp;?+%21%26%2526%3B%7C%20%2B%3D—%2520%5D%5B%3A%0A%2C%28%29
好了,有个分词和布隆过滤器这两个利器的支撑后,我们就可以来实现搜索的功能了。
Splunk代表一个拥有搜索功能的索引集合
每一个集合中包含一个布隆过滤器,一个倒排词表(字典),和一个存储所有事件的数组
当一个事件被加入到索引的时候,会做以下的逻辑
为每一个事件生成一个unqie id,这里就是序号
对事件进行分词,把每一个词加入到倒排词表,也就是每一个词对应的事件的id的映射结构,注意,一个词可能对应多个事件,所以倒排表的的值是一个Set。倒排表是绝大部分搜索引擎的核心功能。
当一个词被搜索的时候,会做以下的逻辑
检查布隆过滤器,如果为假,直接返回
检查词表,如果被搜索单词不在词表中,直接返回
在倒排表中找到所有对应的事件id,然后返回事件的内容
更进一步,在搜索过程中,我们想用And和Or来实现更复杂的搜索逻辑。
虽然说XPath比正则表达式用起来方便,但是没有最方便,只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。
使用之前,还是老规矩,先安装BeautifulSoup库,指令如下:
BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。
BeautifulSoup库还能自动将输入的文档转换为Unicode编码,输出文档转换为UTF-8编码。
所以,在使用BeautifulSoup库的过程中,不需要开发中考虑编码的问题,除非你解析的文档,本身就没有指定编码方式,这才需要开发中进行编码处理。
下面,我们来详细介绍BeautifulSoup库的使用规则。
下面,我们来详细介绍BeautifulSoup库的重点知识。
首先,BeautifulSoup库中一个重要的概念就是选择解释器。因为其底层依赖的全是这些解释器,我们有必要认识一下。博主专门列出了一个表格:
从上面表格观察,我们一般爬虫使用lxml HTML解析器即可,不仅速度快,而且兼容性强大,只是需要安装C语言库这一个缺点(不能叫缺点,应该叫麻烦)。
要使用BeautifulSoup库,需要和其他库一样进行导入,但你虽然安装的是beautifulsoup4,但导入的名称并不是beautifulsoup4,而是bs4。用法如下:
基础的用法很简单,这里不在赘述。从现在开始,我们来详细学习BeautifulSoup库的所有重要知识点,第一个就是节点选择器。
所谓节点选择器,就是直接通过节点的名称选择节点,然后再用string属性就可以得到节点内的文本,这种方式获取最快。
比如,基础用法中,我们使用h1直接获取了h1节点,然后通过h1.string即可得到它的文本。但这种用法有一个明显的缺点,就是层次复杂不适合。
所以,我们在使用节点选择器之前,需要将文档缩小。比如一个文档很多很大,但我们获取的内容只在id为blog的p中,那么我们先获取这个p,再在p内部使用节点选择器就非常合适了。
下面的一些示例,我们还是使用这个HTML代码进行节点选择器的讲解。
这里,我们先来教会大家如何获取节点的名称属性以及内容,示例如下:
一般来说一个节点的子节点有可能很多,通过上面的方式获取,只能得到第一个。如果要获取一个标签的所有子节点,这里有2种方式。先来看代码:
如上面代码所示,我们有2种方式获取所有子节点,一种是通过contents属性,一种是通过children属性,2者遍历的结果都是一样的。
既然能获取直接子节点,那么获取所有子孙节点也是肯定可以的。BeautifulSoup库给我们提供了descendants属性获取子孙节点,示例如下:
同样的,在实际的爬虫程序中,我们有时候也需要通过逆向查找父节点,或者查找兄弟节点。
BeautifulSoup库,给我们提供了parent属性获取父节点,同时提供了next_sibling属性获取当前节点的下一个兄弟节点,previous_sibling属性获取上一个兄弟节点。
对于节点选择器,博主已经介绍了相对于文本内容较少的完全可以这么做。但实际的爬虫爬的网址都是大量的数据,开始使用节点选择器就不合适了。所以,我们要考虑通过方法选择器进行先一步的处理。
find_all()方法主要用于根据节点的名称、属性、文本内容等选择所有符合要求的节点。其完整的定义如下所示:
【实战】还是测试上面的HTML,我们获取name=a,attr={"class":"aaa"},并且文本等于text="Python板块"板块的节点。
find()与find_all()仅差一个all,但结果却有2点不同:
1.find()只查找符合条件的第一个节点,而find_all()是查找符合条件的所有节点2.find()方法返回的是bs4.element.Tag对象,而find_all()返回的是bs4.element.ResultSet对象
下面,我们来查找上面HTML中的a标签,看看返回结果有何不同,示例如下:
首先,我们来了解一下CSS选择器的规则:
1..classname:选取样式名为classname的节点,也就是class属性值是classname的节点2.#idname:选取id属性为idname的节点3.nodename:选取节点名为nodename的节点
一般来说,在BeautifulSoup库中,我们使用函数select()进行CSS选择器的操作。示例如下:
这里,我们选择class等于li1的节点。运行之后,效果如下:
因为,我们需要实现嵌套CSS选择器的用法,但上面的HTML不合适。这里,我们略作修改,仅仅更改
结语:以上就是首席CTO笔记为大家介绍的关于python项目一般要多少行代码的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。
二、Python其实简单易上手,这70个Python 实战项目
2、[200行 Python代码实现 2048)
3、[Python3实现火车票查询工具]
4、[高德 API+Python解决租房问题]
7、[Python实现简单的 Web服务器
10、[Python基于共现提取《釜山行》人物关系]
11、[基于 scrapy爬虫的天气数据采集(python)]
17、[神经网络实现手写字符识别系统)
20、[NBA常规赛结果预测一利用 Python进行比赛数据分析
[Python3& OpenCV视频转字符动画]
[Python3实现简单的FTP认证服务器
[基于 Flask与 MySQL实现番剧推荐系统
[Python气象数据分析--《Python数据分析实战》
[k-近邻算法实现手写数字识别系统]
[Python实现英文新闻摘要自动提取][Python实现简易局域网视频聊天工具]
40、[Python3基于Scapy实现DDos]
[Python实现密码强度检测器]41、
42[使用 Python实现深度神经网络
不[Python实现从excel读取数据并绘制成精美图像][人机对战初体验:Python基于Pygame实现四子棋游双[Python3实现可控制肉鸡的反向Shell]
似低城机城根弧引江汉M红纸红致致
[Python应用马尔可夫链算法实现随机文本生成)
[Python实现Huffman编码解压缩文件]
[给Python3爬虫做一个界面妹子图网实战]、[Python 3实现图片转彩色字符]
63[Python实现遗传算法求解n-queens问题]
64、[Python3实现命令行动态进度条]
65、[Python获取挂号信息并邮件通知
、[Python实现java web项目远端自动化更新部署67、[使用 Python3编写 Github自动周报生成器)
69、[Python实现 Redis异步客户端
70、[Python实现中文错别字高亮系统
三、新手学python,想用个简单点的项目来学习python
1、如果你有一定的计算机编程知识基础,那么很容易学;再如果你对编程十分感兴趣,那么很容易学的。
2、1,找到合适的入门书籍,大致读一次,循环啊判断啊,常用类啊,搞懂(太难的跳过)
3、2,做些简单习题,字符串比较,读取日期之类 Python Cookbook不错(太难太无趣的,再次跳过,保持兴趣是最重要的,不会的以后可以再学)
4、3,加入Python讨论群,态度友好笑眯眯(很重要,这样高手才会耐心纠正你错误常识)。很多小问题,纠结许久,对方一句话点播思路,真的节约你很多时间。耐心指教我的好人,超级超级多谢。
5、4,解决自己电脑问题。比如下载美剧,零散下载了2,4,5,8集,而美剧共12集,怎样找出漏下的那几集?然后问题分解,1读取全部下载文件名,2提取集的数字,3数字排序和(1--12)对比,找出漏下的。
6、对于python初学者来说,能找到一个好老师学习格外重要,这能决定你是不是可以做出好的项目,在python开发的路上越走越轻松,如果现在的你缺乏学习经验,找不到老师指导你学习,看一下下面的代码
7、5,时刻记住目的,不是为了当程序员,是为了解决问题。比如,想偷懒抓网页内容,用urllib不行,用request也不行,才发现抓取内容涉及那么多方面(cookie,header,SSL,url,javascript等等),当然可以听人家劝,回去好好读书,从头读。或者,不求效率,只求解决,用ie打开网页再另存为行不行?ie已经渲染过全部结果了。问题变成:1--打开指定的10个网页(一行代码就行)。更复杂的想保存呢?利用已经存在的包,比如PAM30(我的是Python3),直接打开ie,用函数outHTML另存为文本,再用搜索函数(str搜索也行,re正则也行)找到数据。简单吧?而且代码超级短。
8、6,保持兴趣,用最简单的方式解决问题,什么底层驱动,各种交换,留给大牛去写吧。我们利用已经有的包完成。
9、7,耐心读文档,并且练习快速读文档。拿到新包,找到自己所需要的函数,是需要快速读一次的。这个不难,读函数名,大概能猜到是干嘛的,然后看看返回值,能判断是不是自己需要的。
10、8,写帮助文件和学习笔记,并发布共享。教别人的时候,其实你已经自己再次思考一次了。我觉得学程序就像学英文,把高频率的词(循环,判断,常用包,常用函数)搞懂,就能拼装成自己想要的软件。一定要保持兴趣,太复杂的跳过,就像小学数学,小学英语,都是由简入深。网络很平面,无数国际大牛著作好书,关于Python,算法,电脑,网络,或者程序员思路,或者商业思维(浪潮之巅是本好书)等等,还有国际名校的网络公开课(中英文字幕翻译完毕,观看不是难事),讲计算机,网络,安全,或者安卓系统,什么都有,只要能持续保持兴趣,一点点学习下去,不是难事。所有天才程序员,都曾是儿童,回到儿童思维来理解和学习。觉得什么有趣,先学,不懂的,先放着,遇到问题再来学,效果更好。唯一建议是,不要太贪心,耐心学好一门优雅的语言,再学其它。虽然Javascript做特效很炫,或提某问题时,有大牛建议,用Ruby来写更好之类,不要改方向。就像老笑话:“要学习递归,必须首先理解递归。”然后死循环一直下去。坚持学好一门语言,再研究其他。即使一门语言,跟网络,数据库等等相关的部分,若都能学好,再学其他语言,是很快的事情。另外就是,用学英文的耐心来学计算机,英文遇到不懂的词,抄下,查询。 python里,看到Http,查查定义,看到outHtml,查查定义,跟初学英语时候一样,不要直接猜意思,因为精确描述性定义,跟含糊自然语有区别的。而新人瞎猜,很容易错误理解,wiki,google很有用。