return title+content

# 获取待采集的列表url
def spider_start(url, re_title, re_list, re_content, re_intro='', save_dir='article/'):
data = http_req(url)
# 正则获取标题
matche = re.search(re_title, data)
if matche:
title = matche.groupdict().get('title')
else:
title = '小说'
# 验证save_dir是否非绝对路径,如果非绝对路径加上当前目录
if not save_dir.startswith('/'):
save_dir = os.getcwd()+'/'+save_dir
# 验证存放目录 save_dir 是否存在
if not os.path.isdir(save_dir) and not os.path.isfile(save_dir):
os.mkdir(save_dir)
filename = save_dir+title+'.txt' # 文件名定义

intro = '' # 描述 默认为空
if re_intro != '':
matche = re.search(re_intro, data)
if matche:
intro = matche.groupdict().get('intro')
# 去除所有html标签
intro = re.sub(r'<[\s\S]+?>', '', intro)

# 获取urls
matches = re.findall(re_list, data)
le = len(matches)
if le > 0:
uri0 = matches[0] # 取第一个uri来分析base_url
if uri0.startswith('/'): # 如果是相对跟目录的绝对路径
matche_u = re.search(r'(https?://(.*?))/', url)
if matche_u:
base_url = matche_u[1]
elif not uri0.startswith('http', 0, 4): # 相对于当前页面的url
base_url = url[0:url.rindex('/')+1]
else: # url为完整的url, 不需要加base_url
base_url = ''
# 覆盖写入
file = open(filename, 'w', encoding='utf-8')
file.write('# '+title+'\r\n'+intro) # 写入小说名称
file.close()
# 以追加读写模式打开
file = open(filename, 'a+', encoding='utf-8')
for index in range(le):
sys.stdout.write('\r正在采集第: '+str(index)+' 章, 总:'+str(le))
sys.stdout.flush()
# 获取列表中的url链接地址,
uri = matches[index]
# 获取指定的匹配组
url = base_url+uri
txt = get_content_txt(url, re_title, re_content)
file.write(txt)

file.flush()
file.close()
print('\r\n采集完成')
else:
txt = get_content_txt(url, re_title, re_content)
if txt != '':
file = open(filename, 'w', encoding='utf-8')
file.write(txt)
file.flush()
file.close()
print('采集完成')
else:
print('未匹配到数据')

print('开始采集')
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf8')
# change for actual site
# 根据要采集的站点来配置相应的正则
re_title = '