813 lines
43 KiB
Python
813 lines
43 KiB
Python
#coding=utf-8
|
||
|
||
import dashscope
|
||
from http import HTTPStatus
|
||
from pymilvus import MilvusClient
|
||
import json
|
||
from datetime import datetime
|
||
import re,os,time
|
||
import requests
|
||
import config
|
||
import numpy as np
|
||
from docx2pdf import convert
|
||
|
||
def get_md5(str):
|
||
import hashlib
|
||
m = hashlib.md5()
|
||
m.update(str.encode('utf-8'))
|
||
return m.hexdigest()
|
||
|
||
def embed_with_str(input):
|
||
retry = 0
|
||
max_retry = 5
|
||
t = 0.1
|
||
while retry < max_retry:
|
||
#阿里接口限流
|
||
time.sleep(t)
|
||
resp = dashscope.TextEmbedding.call(
|
||
model=dashscope.TextEmbedding.Models.text_embedding_v2,
|
||
input=input)
|
||
if resp.status_code == HTTPStatus.OK:
|
||
return resp
|
||
elif resp.status_code == 429:
|
||
print(f'触发限流,等待{t}秒后重试')
|
||
retry += 1
|
||
t+=0.1
|
||
else:
|
||
print(f'请求失败,状态码:{resp.status_code}')
|
||
return None
|
||
print('重试超过上限')
|
||
return None
|
||
|
||
#如果存在‘归属于|扣非’，就保留括号内的内容，并去掉标点符号和中文数字。
|
||
#如果存在季度关键词，就将括号内容替换为季度
|
||
#如果存在‘±’，就将括号内容替换为同期增减
|
||
#其他情况，就删掉括号内全部内容
|
||
def get_clean_text(text):
|
||
text = text.replace('流动资产：','').replace('半年度','上半年')
|
||
#先对几个半年报的词做整理，防止向量识别不出来
|
||
terms = ["货币资金", "应收账款",'应付账款']
|
||
#这个是不要合计的
|
||
terms_2 = ["固定资产","短期借款","合同负债","在建工程","商誉","存货"]
|
||
#这个是需要调换位置的指标
|
||
#terms_3 = ["固定资产","短期借款","合同负债","在建工程","商誉"]
|
||
#不可以出现同比之类的
|
||
terms_4 = ['比', '率', '占','至','年以内','年以上','年内','1-2年','2-3年','3-4年','4-5年','准备','在途','增值','评估','利息','应计','改良','跌价','补助','投资']
|
||
dates = [ "2021年12月31日","2022年12月31日","2022年1月1日","2023年1月1日", "2023年12月31日", "2022年6月30日","2023年6月30日","2024年6月30日","2024年半年度","2023年半年度","2022年半年度"]
|
||
#dates = [ "2021年12月31日","2022年12月31日","2023年12月31日","2022年1月1日","2023年1月1日", "2024年1月1日", "2022年6月30日","2023年6月30日","2024年6月30日","2021年初","2022年初","2023年初","2024年初",'2021年末','2022年末','2023年末','2024年末',"2023年","2022年","2021年"]
|
||
if any(term in text for term in terms_4):
|
||
return text
|
||
if len(text) <= 20:
|
||
for term in terms:
|
||
for date in dates:
|
||
if term in text and date in text:
|
||
text = f"{date}{term}合计"
|
||
return text
|
||
if len(text) <= 20:
|
||
for term in terms_2:
|
||
for date in dates:
|
||
if term in text and date in text:
|
||
text = f"{date}{term}"
|
||
return text
|
||
|
||
import re
|
||
replacement_dict = {
|
||
'加：': '',
|
||
'减：': '',
|
||
'%' : '',
|
||
'其中：': '',
|
||
'实际': '',
|
||
'/': '',
|
||
'重述后':'',
|
||
'年末金额':'年末',
|
||
'比重增减':'同比增减',
|
||
'比例':'同比',
|
||
}
|
||
#针对整个text做替换
|
||
def replace_all(text, replacements):
|
||
pattern = re.compile("|".join(map(re.escape, replacements.keys())))
|
||
return pattern.sub(lambda match: replacements[match.group(0)], text)
|
||
text = replace_all(text, replacement_dict)
|
||
#单独出现12月31日时，就剔除掉
|
||
pattern_year = r'(?<!2023年|2022年|2021年)12月31日'
|
||
text = re.sub(pattern_year, '', text)
|
||
|
||
pattern = r"\（[^）]*\）|\([^)]*\)" # 增加英文括号的匹配
|
||
matches = re.findall(pattern, text)
|
||
quarter_keywords = {
|
||
"1-3月": "第一季度",
|
||
"第1季度": "第一季度",
|
||
"4-6月": "第二季度",
|
||
"第2季度": "第二季度",
|
||
"7-9月": "第三季度",
|
||
"第3季度": "第三季度",
|
||
"10-12月": "第四季度",
|
||
"第4季度": "第四季度",
|
||
"调整后": "调整后",
|
||
"增减":"增减",
|
||
"一": "",
|
||
"二": "",
|
||
"三": "",
|
||
"年内到期":"年内到期",
|
||
"1－6月":"",
|
||
"发行新股":"发行新股",
|
||
}
|
||
#针对text的括号内容进行识别判断
|
||
for match in matches:
|
||
month_keywords_found = re.search(r"归属于|扣非", match)
|
||
if not month_keywords_found: # 改为不包含时的处理
|
||
replaced = False
|
||
for keyword, replacement in quarter_keywords.items():
|
||
if re.search(keyword, match):
|
||
text = re.sub(re.escape(match), replacement, text) #触发关键词替换
|
||
replaced = True
|
||
break
|
||
if not replaced:
|
||
text = re.sub(re.escape(match), "", text) # 如果没有找到匹配的关键词，直接删除
|
||
else:# 如果包含特殊关键词，删除整个括号内容
|
||
text = re.sub(r"[^\w\s]", "", text)
|
||
return text
|
||
|
||
def convert_docx_to_pdf(file_path):
|
||
# 检查文件是否为 .docx 格式
|
||
if file_path.lower().endswith('.docx'):
|
||
# 生成 PDF 文件路径
|
||
pdf_path = os.path.splitext(file_path)[0] + '.pdf'
|
||
|
||
try:
|
||
# 执行转换
|
||
convert(file_path, pdf_path)
|
||
print(f"转换成功: {pdf_path}")
|
||
except Exception as e:
|
||
print(f"转换失败: {e}")
|
||
else:
|
||
print("错误: 文件必须是 .docx 格式。")
|
||
|
||
def save_pdf_from_url(url, file_path):
|
||
from urllib.parse import unquote
|
||
# 发起 GET 请求并保存文件
|
||
response = requests.get(url)
|
||
local_file_path = ''
|
||
url = unquote(url)
|
||
# 检查响应状态码
|
||
if response.status_code == 200:
|
||
# 文件下载成功
|
||
url_without_params = url.split('?')[0]
|
||
# 从处理后的URL中提取文件名
|
||
# 提取文件名
|
||
file_name = url_without_params.split('/')[-1]
|
||
#https://financial-report-test.obs.cn-east-3.myhuaweicloud.com:443/upload/file/909f3dd3337a4dd4bc24fb4748c6c76e.PDF?AccessKeyId=IIDIMIUZ1UBBVPKIVB4W&Expires=1726798358&Signature=fKgrDPjmd99Nje4wwvBJxmFlXZY%3D
|
||
# 指定本地文件保存路径
|
||
local_file_path = file_path + file_name
|
||
# local_file_path = convert_docx_to_pdf(local_file_path)
|
||
|
||
with open(local_file_path, 'wb') as file:
|
||
file.write(response.content)
|
||
print(f"文件已下载到 {local_file_path}")
|
||
else:
|
||
# 文件下载失败
|
||
print(f"无法下载文件，状态码：{response.status_code}")
|
||
|
||
return local_file_path
|
||
|
||
def get_range(count,parts_num):
|
||
# 获取 CPU 核数
|
||
if count < parts_num:
|
||
parts_num = count
|
||
# 使用 divmod() 函数计算除法结果和余数
|
||
quotient, remainder = divmod(count, parts_num)
|
||
count_range_parts = []
|
||
for i in range(parts_num):
|
||
start_num = i * quotient
|
||
if i < parts_num-1:
|
||
start_num = i * quotient
|
||
end_num = start_num+quotient
|
||
else:
|
||
end_num = count
|
||
count_range_parts.append(f'{start_num}-{end_num}')
|
||
return count_range_parts
|
||
|
||
def cosine_similarity(vector_a, vector_b):
|
||
# 将向量转换为 NumPy 数组
|
||
vector_a = np.array(vector_a)
|
||
vector_b = np.array(vector_b)
|
||
|
||
# 计算两个向量的点积
|
||
dot_product = np.dot(vector_a, vector_b)
|
||
|
||
# 计算两个向量的欧几里得范数
|
||
norm_a = np.linalg.norm(vector_a)
|
||
norm_b = np.linalg.norm(vector_b)
|
||
|
||
# 计算余弦相似度
|
||
cosine_sim = dot_product / (norm_a * norm_b)
|
||
|
||
return cosine_sim
|
||
|
||
def get_period_type(text, year):
|
||
l_year = f'{int(year)-1}'
|
||
bl_year = f'{int(year)-2}'
|
||
c_period = f'当期|本期|本报告期|报告期|本年|本期|{year}'
|
||
l_period = f'上年|上期|上年度|{l_year}'
|
||
bl_period = f'前年|{bl_year}'
|
||
|
||
if len(re.findall(c_period, text)) > 0:
|
||
return 'c'
|
||
elif len(re.findall(l_period, text)) > 0:
|
||
return 'l'
|
||
elif len(re.findall(bl_period, text)) > 0:
|
||
return 'bl'
|
||
else:
|
||
return 'c'
|
||
|
||
def get_period_type_other(text, year):
|
||
l_year = f'{int(year)-1}'
|
||
bl_year = f'{int(year)-2}'
|
||
c_period = f'当期|本期|本报告期|报告期|本年|本期|{year}'
|
||
l_period = f'上年|上期|上年度|{l_year}'
|
||
bl_period = f'前年|{bl_year}'
|
||
|
||
if len(re.findall(c_period, text)) > 0:
|
||
return 'c'
|
||
elif len(re.findall(l_period, text)) > 0:
|
||
return 'l'
|
||
elif len(re.findall(bl_period, text)) > 0:
|
||
return 'bl'
|
||
else:
|
||
return 'c_n'
|
||
|
||
def get_start_period_type(text):
|
||
s_period = '期初|1月1日|年初'
|
||
|
||
if len(re.findall(s_period, text)) > 0:
|
||
return ''
|
||
else:
|
||
return '0'
|
||
|
||
def get_season_flag(text):
|
||
season_period = '第1季度|第2季度|第3季度|第4季度|一季度|二季度|三季度|四季度|1-3月|4-6月|7-9月|10-12月'
|
||
if len(re.findall(season_period, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
|
||
def get_percent_flag(text):
|
||
percent_word = '收益率|占比|比重|比例|同比增减|同比上升|同比下降|变化幅度|同期增减|本年比上年增减|同比变动|变动比例|本年度比上年度增减|增减'
|
||
if len(re.findall(percent_word, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
|
||
def get_kf_flag(text):
|
||
kf_word = '扣非|扣除非经常性损益'
|
||
if len(re.findall(kf_word, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
|
||
def get_report_start(text):
|
||
kf_word = '报告期初|1月1日'
|
||
if len(re.findall(kf_word, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
|
||
def get_percent_growth(text):
|
||
percent_growth_word = '变动|本年比上年|比例同比增减|比例同比上升|比例同比下降|比例变化幅度|比例变动比例|比例本期比上年同期增减|比例本年比上年增减|比例同比变动|比例本期期末金额较上期期末变动比例|比率同比增减|比率同比上升|比率同比下降|比率变化幅度|比率变动比例|比率本期比上年同期增减|比率本年比上年增减|比率同比变动|比率本期期末金额较上期期末变动比例|占比同比增减|占比同比上升|占比同比下降|占比变化幅度|占比变动比例|占比本期比上年同期增减|占比本年比上年增减|占比同比变动|占比本期期末金额较上期期末变动比例|费用同比增减|费用同比上升|费用同比下降|费用变化幅度|费用变动比例|费用本期比上年同期增减|费用本年比上年增减|费用同比变动|费用本期期末金额较上期期末变动比例'
|
||
if len(re.findall(percent_growth_word, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
def check_black_list(meta_measure, pdf_measure, black_array):
|
||
# 获取黑名单数据
|
||
#black_array = fetch_black_list_data(cursor)
|
||
|
||
for black in black_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
if meta_measure==black_meta:
|
||
for pdf in black_pdfs:
|
||
if pdf_measure.find(pdf) >= 0:
|
||
return True
|
||
return False
|
||
|
||
def check_black_list_old(meta_measure,pdf_measure):
|
||
# 判断指标名是否包含黑名单词
|
||
#black_array = ['非经常性损益:非经常性损益合计,非经常性损益总额','营业收入:营业外收入,主营业务,营业总收入,扣除,年度公司','归母净利润:净资产,净利率,扣除,年度公司','扣非净利润:净资产,净利率,年度公司','经营活动现金流净额:筹资活动,投资活动,流入小计,流出小计','筹资活动现金流净额:经营活动,投资活动,流入小计,流出小计','投资活动现金流净额:经营活动,筹资活动,流入小计,流出小计','非经常性损益:扣除非经常性损益','基本每股收益:稀释每股收益','稀释每股收益:基本每股收益','总资产:净资产','应收账款:应付账款','短期借款:长期借款','应付账款:应收账款','长期借款:短期借款','研发投入:比例,比率,占比,费用','资本化研发投入:比例,比率,占比,费用','资本化研发投入占比:金额,费用','研发投入占营业收入比例:金额,费用','上年年末:1月1日']
|
||
black_array = ['非经常性损益:非经常性损益合计,非经常性损益总额,合计'
|
||
,'营业收入:营业外收入,主营业务,营业总收入,扣除,年底公司,合计,汇总'
|
||
,'归母净利润:净资产,净利率,扣除,年度公司,归属于本公司普通股股东的净利润'
|
||
,'扣非净利润:净资产,净利率,年度公司'
|
||
,'经营活动现金流净额:筹资活动,投资活动,流入小计,流出小计,每股,扣除'
|
||
,'筹资活动现金流净额:经营活动,投资活动,流入小计,流出小计,每股,扣除'
|
||
,'投资活动现金流净额:经营活动,筹资活动,流入小计,流出小计,每股,扣除'
|
||
,'非经常性损益:扣除非经常性损益'
|
||
,'基本每股收益:稀释每股收益,发行新股'
|
||
,'稀释每股收益:基本每股收益,发行新股'
|
||
,'总资产:净资产','应收账款:应付账款,年以上,内,至,到'
|
||
,'短期借款:长期借款,非流动负债,年以上,年以内,内,至,到'
|
||
,'应付账款:应收账款,年以上,内,至,到'
|
||
,'长期借款:短期借款,非流动负债,年以上,内,至,到,保证,抵押'
|
||
,'研发投入:比例,比率,占比,费用,占'
|
||
,'资本化研发投入:比例,比率,占比,费用,占'
|
||
,'资本化研发投入占比:金额,费用'
|
||
,'研发投入占营业收入比例:金额,费用'
|
||
,'上年年末:1月1日'
|
||
,'期加权平均净资产收益率:同比,扣除,扣非,年化,每股'
|
||
,'期扣非加权平均净资产收益率:同比,年化,每股'
|
||
,'加权平均净资产收益率同比变动:年化,每股'
|
||
,'研发费用:制造,投入,直接,管理'
|
||
,'应收账款:1-2年','货币资金:在途'
|
||
,'当期:2023年1-6月,调整后'
|
||
,'营业成本:营业总成本'
|
||
,'长期借债:年内到期','研发投入:直接'
|
||
,'第一季度:第二季度,第三季度,第四季度'
|
||
,'第二季度:第一季度,第三季度,第四季度'
|
||
,'第三季度:第二季度,第一季度,第四季度'
|
||
,'第四季度:第二季度,第三季度,第一季度'
|
||
,'研发费用:研发支出,研发投入','存货:跌价准备'
|
||
,'费用:日常,付现','固定资产:改良,补助,投资']
|
||
# current_period = f'当期:{report_year}年1-6月'
|
||
# black_array.append(current_period)
|
||
for black in black_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
if meta_measure.find(black_meta) >= 0:
|
||
for pdf in black_pdfs:
|
||
if pdf_measure.find(pdf) >= 0:
|
||
return True
|
||
return False
|
||
def check_white_list(meta_measure,pdf_measure):
|
||
white_array = ['基本每股收益:每股收益','加权平均净资产收益率同比变动:比','季度变动比例:比']
|
||
for black in white_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
if meta_measure.find(black_meta) >= 0:
|
||
for pdf in black_pdfs:
|
||
if pdf_measure.find(pdf) < 0:
|
||
return True
|
||
return False
|
||
|
||
def check_title_black_list(meta_measure,text_info):
|
||
# 判断指标名是否包含黑名单词
|
||
black_array = ['营业收入:前五名,前5名,合计','营业成本:合计','财务费用:现金流','销售费用:现金流','管理费用:现金流','研发费用:现金流','非经常性损益:合计']
|
||
for black in black_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
if meta_measure.find(black_meta) >= 0:
|
||
for pdf in black_pdfs:
|
||
if text_info.find(pdf) >= 0:
|
||
return True
|
||
return False
|
||
|
||
# 文本中数字的占比
|
||
def under_non_alpha_ratio(text: str, threshold: float = 0.6):
|
||
|
||
if len(text) == 0:
|
||
return False
|
||
|
||
alpha_count = len([char for char in text if char.strip() and char.isalpha()])
|
||
total_count = len([char for char in text if char.strip()])
|
||
try:
|
||
ratio = alpha_count / total_count
|
||
return ratio <= threshold
|
||
except:
|
||
return False
|
||
def check_table_title_black_list(text,table_title_black_list):#report_year
|
||
#previous_year = int(report_year) - 1
|
||
if table_title_black_list is None:
|
||
return False
|
||
if len(re.findall(table_title_black_list, text)) > 0:
|
||
return True
|
||
if re.search(r'上年度\s*$', text):
|
||
return True
|
||
return False
|
||
#通过关键词黑名单匹配表格上方的文本区域，提取需要过滤的表格
|
||
def check_table_title_black_list_old(text,report_year):#report_year
|
||
previous_year = int(report_year) - 1
|
||
table_title_black_list = f"""所有权或使用权受到限制的资产|持有待售资产|关联交易|未确认递延所得税资产明细|{previous_year}年度|{previous_year}年1-6月|自{previous_year}年1月1日至6月30日止期间|流动性风险|关联交易|账龄超过|流动风险|公司资产负债表|按账龄组合|线上直营|线上直销|公司现金流量表|公司利润表|应收账款|在建工程|固定资产|其他与筹资活动有关的现金|汇率风险|市场风险|主营业务收入|主营收入|其他收入|前五名|前5名|经营活动有关的现金|股份变动对最近一年和最近一期每股收益、每股净资产等财务指标的影响|合同产生的收入情况|子公司|参股公司|控股公司|分解信息|经营活动产生的现金|行业分类|产品分类|地区分类|业绩快报|销售渠道|调整情况说明|合同分类|计入当期损益的政府补助|股份变动对最近一年和最近一期|分部的财务信息|显示服务创收|线上销售情况|试运行销售|会计政策变更|品牌经营业务|工程施工业务|开发业务|制造业务|合营安排或联营企业中的权益|联营企业的主要财务信息|汇率及通货膨胀|与金融工具相关的风险|运营业务|B端业务|终止经营现金流量|终止经营|公司股份总数及股东结构变动及公司资产和负债结构的变动情况|母公司|现金流量表补充|直营店店效情况|担保人2023年度未经审计的|外汇风险|公司各业务板块经营情况|报告期确认的包括在合同负债期初账面价值中的收入|资产受限情况|资产权利受限情况|内控自我评价报告|所有权或使用权受限资产|合并日被合并方资产、负债的账面价值|经营租赁资产|前5|前五|②|不属于现金及现金等价物的货币资金|按销售模式分|按产品类别分|按照销售区域|产品类别|销售模式|经销模式|关键管理人员|截至{previous_year}年6月30日止六个月期间|关联方提供的存款及贷款服务|报告期内各销售渠道的盈利情况|报告期内各地区的盈利情况|报告期内各产品的盈利情况|其他非流动负债|关联方提供的存款及贷款服务|自营销售分商品类别数据|组合计提|考核指标|不属于现金及现金等价物的货币资金|应收款项融资|本期计提、收回或转回的坏账准备情况|存货跌价准备|持有待售负债"""
|
||
|
||
if len(re.findall(table_title_black_list, text)) > 0:
|
||
return True
|
||
if re.search(r'上年度\s*$', text):
|
||
return True
|
||
return False
|
||
#通过关键词黑名单匹配页面下方的文本区域，提取需要过滤的表格
|
||
|
||
def check_table_title_black_list_button(text,table_title_black_list):
|
||
|
||
if table_title_black_list is None:
|
||
return False
|
||
|
||
if len(re.findall(table_title_black_list, text)) > 0:
|
||
return True
|
||
if re.search(r'上年度\s*$', text):
|
||
return True
|
||
return False
|
||
def check_table_title_black_list_button_old(text):
|
||
|
||
table_title_black_list = """公司资产负债表|公司现金流量表|公司利润表|主营业务收入|主营收入|其他收入|前五名|前5名|经营活动有关的现金|股份变动对最近一年和最近一期每股收益、每股净资产等财务指标的影响|合同产生的收入情况|子公司|参股公司|控股公司|分解信息|经营活动产生的现金|2022年度|行业分类|产品分类|地区分类|业绩快报|销售渠道|调整情况说明|合同分类|计入当期损益政府补助|股份变动对最近一年和最近一期|分部的财务信息|显示服务创收|线上销售情况|试运行销售|品牌经营业务|工程施工业务|开发业务|制造业务|合营安排或联营企业中的权益|联营企业的主要财务信息|汇率及通货膨胀|与金融工具相关的风险|运营业务|B端业务|终止经营现金流量|终止经营|公司股份总数及股东结构变动及公司资产和负债结构的变动情况|不属于现金及现金等价物的货币资金|经营租赁资产|分地区|分产品|分行业|使用权受限资产|资产受限情况|经销模式|持续的第三层次公允价值计量项目，期初与期末账面价值间的调节信息及不可观察参数敏感|权利受限情况|应收款项融资|本期计提、收回或转回的坏账准备情况"""
|
||
|
||
|
||
if len(re.findall(table_title_black_list, text)) > 0:
|
||
return True
|
||
if re.search(r'上年度\s*$', text):
|
||
return True
|
||
return False
|
||
def check_table_title_black_list_measure(text):
|
||
#black_array = ['补充资料:研发费用,管理费用,财务费用'
|
||
# ,'营业收入:营业外收入,主营业务,营业总收入,扣除,年底公司,合计,汇总'
|
||
#]
|
||
table_title_black_list = """补充资料|测试文本|其他非流动负债|应收款项融资|本期计提、收回或转回的坏账准备情况|筹资活动产生的各项负债变动情况|持有待售资产|账龄超过 1 年或逾期的重要应付账款|经营租赁资产|计息金融工具|坏账准备"""
|
||
if len(re.findall(table_title_black_list, text)) > 0:
|
||
return True
|
||
return False
|
||
#过滤原始指标中包含黑名单
|
||
def check_pdf_measure_black_list(text):
|
||
pdf_measure_black_list = '股权变动前|股权变动后|含股份支付|境内|境外|调整前|有限公司|责任公司|其他|变更前|差异|同口径|调整金额'
|
||
if len(re.findall(pdf_measure_black_list, text)) > 0:
|
||
return True
|
||
if "其中：营业收入" in text:
|
||
return False
|
||
if "同比" in text and "额" in text:
|
||
#if text.find("同比") < text.find("额"):
|
||
if text.endswith("额"):
|
||
return True
|
||
return False
|
||
|
||
|
||
def check_pdf_measure(pdf_measure):
|
||
keywords_1 = [
|
||
'2022年', '2023年', '2021年', '第一季度', '第二季度', '第三季度', '第四季度', '增减', '变动', '本期','同期', '当期', '报告期', '前年',
|
||
'上年', '上期', '本年', '1-3月', '4-6月', '7-9月', '10-12月'
|
||
]
|
||
|
||
keywords_2 = ['这里是一个测试文本']
|
||
|
||
contain_keyword_1 = any(keyword in pdf_measure for keyword in keywords_1)
|
||
contain_keyword_2 = any(keyword in pdf_measure for keyword in keywords_2)
|
||
#只有 未出现周期，同时出现了'调整后'才会删掉指标
|
||
if not contain_keyword_1 and contain_keyword_2:
|
||
return True
|
||
return False
|
||
# def check_white_list(meta_measure,pdf_measure):
|
||
# # 判断指标名是否包含白名单词
|
||
# black_array = ['营业收入:营业外收入,主营业务,营业总收入,扣除','归母净利润:净资产,净利率,扣除','扣非净利润:净资产,净利率','经营活动现金流净额:筹资活动,投资活动,流入小计,流出小计','筹资活动现金流净额:经营活动,投资活动,流入小计,流出小计','投资活动现金流净额:经营活动,筹资活动,流入小计,流出小计','非经常性损益:扣除非经常性损益','基本每股收益:稀释每股收益','稀释每股收益:基本每股收益','总资产:净资产','应收账款:应付账款','短期借款:长期借款','应付账款:应收账款','长期借款:短期借款','研发投入:比例,比率,占比,费用','资本化研发投入:比例,比率,占比,费用','资本化研发投入占比:金额,费用','研发投入占营业收入比例:金额,费用']
|
||
# for black in black_array:
|
||
# black_meta = black.split(':')[0]
|
||
# black_pdfs = black.split(':')[1].split(',')
|
||
# if meta_measure.find(black_meta) >= 0:
|
||
# for pdf in black_pdfs:
|
||
# if pdf_measure.find(pdf) >= 0:
|
||
# return True
|
||
# return False
|
||
def check_line_text(line_text):
|
||
if line_text == 'PAGE':
|
||
return False
|
||
if line_text == '（续）':
|
||
return False
|
||
if line_text.endswith('（续）'):
|
||
return False
|
||
if line_text.endswith("年度财务报表") and "有限公司" in line_text:
|
||
return False
|
||
if len(line_text) < 20 and line_text.endswith("有限公司"):
|
||
return False
|
||
substrings = [
|
||
'对内加快发展方式绿色转型、对外形成绿色生产和生活方式',
|
||
'可持续发展、创新发展；“8”是八大绿色行动',
|
||
'色新赋能、催生绿色新科技、筑牢绿色新支撑',
|
||
'接上表','续上表',
|
||
]
|
||
for substring in substrings:
|
||
if substring in line_text:
|
||
return False
|
||
return True
|
||
|
||
def pdf_text_flag(text : str):
|
||
if under_non_alpha_ratio(text):
|
||
return True
|
||
|
||
if len(text) < 5:
|
||
return True
|
||
|
||
if not re.findall(',|，|。|、|（|）',text):
|
||
return True
|
||
|
||
if text.find('适用') != -1 and text.find('不适用') != -1:
|
||
return True
|
||
|
||
if text.find('是') != -1 and text.find('否') != -1:
|
||
return True
|
||
|
||
return False
|
||
|
||
def get_change_rate_flag(text):
|
||
percent_word = '同比增减|同比上升|同比下降|变化幅度|变动比例|本期比上年同期增减|本年比上年增减|同比变动|本期期末金额较上期期末变动比例'
|
||
if len(re.findall(percent_word, text)) > 0:
|
||
return '1'
|
||
else:
|
||
return '0'
|
||
|
||
def check_pdf_measure_black_list_v3(file_id,table_num,table_index,pdf_measure,conn_app,cursor_app):
|
||
content_value = f"{table_num}_{table_index}"
|
||
measure_index_array = []
|
||
select_measure_index_query = '''
|
||
SELECT DISTINCT text FROM measure_parser_info_linetext WHERE file_id = %s AND type = 'measure_index' and content = %s
|
||
'''
|
||
cursor_app.execute(select_measure_index_query, (file_id,content_value,))
|
||
measure_index_records = cursor_app.fetchall()
|
||
for measure_index_record in measure_index_records:
|
||
measure_index_array.append(measure_index_record[0])
|
||
black_array = ['补充资料:研发费用,管理费用,财务费用,销售费用'
|
||
,'测试标题:测试指标'
|
||
,'其他非流动负债:合同负债'
|
||
,'应收款项融资:应收账款'
|
||
,'本期计提、收回或转回的坏账准备情况:应收账款'
|
||
,'筹资活动产生的各项负债变动情况:短期借款,长期借款'
|
||
,'持有待售资产:固定资产'
|
||
,'账龄超过 1 年或逾期的重要应付账款:应付账款'
|
||
,'经营租赁资产:固定资产'
|
||
,'计息金融工具:货币资金,短期借款,交易性金融资产'
|
||
,'坏账准备:应收账款'
|
||
]
|
||
for black in black_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
#if measure_index_array.find(black_meta) >= 0:
|
||
#if black_meta in measure_index_array:
|
||
if any(black_meta in measure_index for measure_index in measure_index_array):
|
||
if any(pdf in pdf_measure for pdf in black_pdfs):
|
||
#for pdf in black_pdfs:
|
||
#if pdf in pdf_measure:
|
||
#if pdf_measure.find(pdf) >= 0:
|
||
return True
|
||
return False
|
||
def check_black_table_list(data):
|
||
black_array = ['补充资料:研发费用,管理费用,财务费用,销售费用',
|
||
#'补充目录:母公司'
|
||
]
|
||
for black in black_array:
|
||
black_meta = black.split(':')[0]
|
||
black_pdfs = black.split(':')[1].split(',')
|
||
if any(black_meta in cell for row in data for cell in row):
|
||
print(data)
|
||
for pdf in black_pdfs:
|
||
data = [row for row in data if not any(pdf in cell for cell in row)]
|
||
return data
|
||
|
||
if __name__ == '__main__':
|
||
|
||
print(len('我是我'))
|
||
|
||
# print(under_non_alpha_ratio('202水电费水电费水电费是的205月'))
|
||
# title = '母公司财务报表主要项目注释'
|
||
# if len(re.findall('母公司|现金流量表补充', title)) >0 and len(re.findall('项目注释', title)) == 0:
|
||
# print('1')
|
||
# else:
|
||
# print('0')
|
||
|
||
# print(check_black_list('当期投资活动现金流净额','当前筹资活动现金流净额'))
|
||
# test = '2023年1-12月'
|
||
# print(get_period_type('上年度本期费用化研发投入'))
|
||
# print(get_period_type('费用化研发投入本年度'))
|
||
# vector_a = embed_with_str('第一季度营业收入')
|
||
# vector = vector_a.output["embeddings"][0]["embedding"]
|
||
|
||
# vector_b = embed_with_str('营业收入第一季度')
|
||
# vector1 = vector_b.output["embeddings"][0]["embedding"]
|
||
|
||
# similarity = cosine_similarity(vector, vector1)
|
||
# print(f"余弦相似度: {similarity}")
|
||
|
||
# measure_data = [
|
||
# '1,1,营业收入2023年金额,1003535799.51',
|
||
# '1,1,营业收入2022年金额,869401513.71',
|
||
# '1,1,营业收入变动比例,15.43%',
|
||
# '1,1,营业成本2023年金额,810779075.89',
|
||
# '1,1,营业成本2023年占营业收入的比重,80.79%',
|
||
# '1,1,营业成本2022年金额,702990363.57',
|
||
# '1,1,营业成本2022年占营业收入的比重,80.86%',
|
||
# '1,1,营业成本变动比例,15.33%',
|
||
# '1,1,毛利率2023年金额,19.21%',
|
||
# '1,1,毛利率2022年金额,19.14%',
|
||
# '1,1,销售费用2023年金额,34065464.60',
|
||
# '1,1,销售费用2023年占营业收入的比重,3.39%',
|
||
# '1,1,销售费用2022年金额,28038106.19',
|
||
# '1,1,销售费用2022年占营业收入的比重,3.22%',
|
||
# '1,1,销售费用变动比例,21.50%',
|
||
# '1,1,管理费用2023年金额,50807308.69',
|
||
# '1,1,管理费用2023年占营业收入的比重,5.06%',
|
||
# '1,1,管理费用2022年金额,38251704.48',
|
||
# '1,1,管理费用2022年占营业收入的比重,4.40%',
|
||
# '1,1,管理费用变动比例,32.82%',
|
||
# '1,1,研发费用2023年金额,35312198.23',
|
||
# '1,1,研发费用2023年占营业收入的比重,3.52%',
|
||
# '1,1,研发费用2022年金额,30081787.99',
|
||
# '1,1,研发费用2022年占营业收入的比重,3.46%',
|
||
# '1,1,研发费用变动比例,17.39%',
|
||
# '1,1,财务费用2023年金额,8015604.52',
|
||
# '1,1,财务费用2023年占营业收入的比重,0.80%',
|
||
# '1,1,财务费用2022年金额,5739677.85',
|
||
# '1,1,财务费用2022年占营业收入的比重,0.66%',
|
||
# '1,1,财务费用变动比例,39.65%',
|
||
# '1,1,信用减值损失2023年金额,-11873626.82',
|
||
# '1,1,信用减值损失2023年占营业收入的比重,-1.18%',
|
||
# '1,1,信用减值损失2022年金额,-8903293.61',
|
||
# '1,1,信用减值损失2022年占营业收入的比重,-1.02%',
|
||
# '1,1,信用减值损失变动比例,33.36%',
|
||
# '1,1,资产减值损失2023年金额,-2328729.46',
|
||
# '1,1,资产减值损失2023年占营业收入的比重,-0.23%',
|
||
# '1,1,资产减值损失2022年金额,-2285987.53',
|
||
# '1,1,资产减值损失2022年占营业收入的比重,-0.26%',
|
||
# '1,1,资产减值损失变动比例,1.87%',
|
||
# '1,1,其他收益2023年金额,17886048.88',
|
||
# '1,1,其他收益2023年占营业收入的比重,1.78%',
|
||
# '1,1,其他收益2022年金额,11025908.32',
|
||
# '1,1,其他收益2022年占营业收入的比重,1.27%',
|
||
# '1,1,其他收益变动比例,62.22%',
|
||
# '1,1,投资收益2023年金额,323361.47',
|
||
# '1,1,投资收益2023年占营业收入的比重,0.03%',
|
||
# '1,1,投资收益2022年金额,1119730.43',
|
||
# '1,1,投资收益2022年占营业收入的比重,0.13%',
|
||
# '1,1,投资收益变动比例,-71.12%',
|
||
# '1,1,公允价值变动收益2023年占营业收入的比重,0.00%',
|
||
# '1,1,公允价值变动收益2022年金额,10183.62',
|
||
# '1,1,公允价值变动收益2022年占营业收入的比重,0.00%',
|
||
# '1,1,公允价值变动收益变动比例,-100.00%',
|
||
# '1,1,资产处置收益2023年金额,12782544.48',
|
||
# '1,1,资产处置收益2023年占营业收入的比重,1.27%',
|
||
# '1,1,资产处置收益2022年金额,-59.56',
|
||
# '1,1,资产处置收益2022年占营业收入的比重,0.00%',
|
||
# '1,1,资产处置收益变动比例,21461726.06%',
|
||
# '1,1,汇兑收益2023年金额,0',
|
||
# '1,1,汇兑收益2023年占营业收入的比重,0%',
|
||
# '1,1,汇兑收益2022年金额,0',
|
||
# '1,1,汇兑收益2022年占营业收入的比重,0%',
|
||
# '1,1,汇兑收益变动比例,0%',
|
||
# '1,1,营业利润2023年金额,76175407.00',
|
||
# '1,1,营业利润2023年占营业收入的比重,7.59%',
|
||
# '1,1,营业利润2022年金额,63332601.81',
|
||
# '1,1,营业利润2022年占营业收入的比重,7.28%',
|
||
# '1,1,营业利润变动比例,20.28%',
|
||
# '1,1,营业外收入2023年金额,5788307.99',
|
||
# '1,1,营业外收入2023年占营业收入的比重,0.58%',
|
||
# '1,1,营业外收入2022年金额,1083997.19',
|
||
# '1,1,营业外收入2022年占营业收入的比重,0.12%',
|
||
# '1,1,营业外收入变动比例,433.98%',
|
||
# '1,1,营业外支出2023年金额,687271.68',
|
||
# '1,1,营业外支出2023年占营业收入的比重,0.07%',
|
||
# '1,1,营业外支出2022年金额,1554243.54',
|
||
# '1,1,营业外支出2022年占营业收入的比重,0.18%',
|
||
# '1,1,营业外支出变动比例,-55.78%',
|
||
# '1,1,净利润2023年金额,72975283.09',
|
||
# '1,1,净利润2023年占营业收入的比重,7.27%',
|
||
# '1,1,净利润2022年金额,57747603.98',
|
||
# '1,1,净利润2022年占营业收入的比重,6.64%',
|
||
# '1,1,净利润变动比例,26.37%',
|
||
# '1,1,税金及附加2023年金额,5170339.13',
|
||
# '1,1,税金及附加2023年占营业收入的比重,0.52%',
|
||
# '1,1,税金及附加2022年金额,1933753.49',
|
||
# '1,1,税金及附加2022年占营业收入的比重,0.22%',
|
||
# '1,1,税金及附加变动比例,167.37%',
|
||
# '1,1,所得税费用2023年金额,8301160.22',
|
||
# '1,1,所得税费用2023年占营业收入的比重,0.83%',
|
||
# '1,1,所得税费用2022年金额,5114751.48',
|
||
# '1,1,所得税费用2022年占营业收入的比重,0.59%',
|
||
# '1,1,所得税费用变动比例,62.30%',
|
||
# '1,1,少数股东损益2023年金额,-58350.22',
|
||
# '1,1,少数股东损益2023年占营业收入的比重,-0.01%',
|
||
# '1,1,少数股东损益2022年金额,-946.60',
|
||
# '1,1,少数股东损益2022年占营业收入的比重,0.00%',
|
||
# '1,1,少数股东损益变动比例,-6064.19%',
|
||
# '1,1,归属于母公司所有者的净利润2023年金额,73033633.31',
|
||
# '1,1,归属于母公司所有者的净利润2023年占营业收入的比重,7.28%',
|
||
# '1,1,归属于母公司所有者的净利润2022年金额,57748550.58',
|
||
# '1,1,归属于母公司所有者的净利润2022年占营业收入的比重,6.64%',
|
||
# '1,1,归属于母公司所有者的净利润变动比例,26.47%',
|
||
# '1,1,归属于少数股东的综合收益总额2023年金额,-58350.22',
|
||
# '1,1,归属于少数股东的综合收益总额2023年占营业收入的比重,-0.01%',
|
||
# '1,1,归属于少数股东的综合收益总额2022年金额,-946.60',
|
||
# '1,1,归属于少数股东的综合收益总额2022年占营业收入的比重,0.00%',
|
||
# '1,1,归属于少数股东的综合收益总额变动比例,-6064.19%',
|
||
# '1,1,归属于母公司所有者的综合收益总额2023年金额,73033633.31',
|
||
# '1,1,归属于母公司所有者的综合收益总额2023年占营业收入的比重,7.28%',
|
||
# '1,1,归属于母公司所有者的综合收益总额2022年金额,57748550.58',
|
||
# '1,1,归属于母公司所有者的综合收益总额2022年占营业收入的比重,6.64%',
|
||
# '1,1,归属于母公司所有者的综合收益总额变动比例,26.47%',
|
||
# '2,1,主营业务收入2023年,983698831.48',
|
||
# '2,1,主营业务收入2022年,854682261.31',
|
||
# '2,1,主营业务收入变动比例,15.10%',
|
||
# '2,1,其他业务收入2023年,19836968.03',
|
||
# '2,1,其他业务收入2022年,14719252.40',
|
||
# '2,1,其他业务收入变动比例,34.77%',
|
||
# '2,1,主营业务成本2023年,793604607.43',
|
||
# '2,1,主营业务成本2022年,690932741.27',
|
||
# '2,1,主营业务成本变动比例,14.86%',
|
||
# '2,1,其他业务成本2023年,17174468.46',
|
||
# '2,1,其他业务成本2022年,12057622.30',
|
||
# '2,1,其他业务成本变动比例,42.44%',
|
||
# '3,1,变压器营业收入,490028234.05',
|
||
# '3,1,变压器营业成本,402179824.08',
|
||
# '3,1,变压器毛利率,17.93%',
|
||
# '3,1,变压器营业收入比上年同期增减,16.22%',
|
||
# '3,1,变压器营业成本比上年同期增减,16.33%',
|
||
# '3,1,变压器毛利率比上年同期增减,减少0.07个百分点',
|
||
# '3,1,高低压成套开关设备营业收入,261342442.26',
|
||
# '3,1,高低压成套开关设备营业成本,206645237.99',
|
||
# '3,1,高低压成套开关设备毛利率,20.93%',
|
||
# '3,1,高低压成套开关设备营业收入比上年同期增减,-8.93%',
|
||
# '3,1,高低压成套开关设备营业成本比上年同期增减,-9.91%',
|
||
# '3,1,高低压成套开关设备毛利率比上年同期增减,增加0.86个百分点',
|
||
# '3,1,户外成套设备营业收入,198013248.27',
|
||
# '3,1,户外成套设备营业成本,157856817.84',
|
||
# '3,1,户外成套设备毛利率,20.28%',
|
||
# '3,1,户外成套设备营业收入比上年同期增减,62.25%',
|
||
# '3,1,户外成套设备营业成本比上年同期增减,65.30%',
|
||
# '3,1,户外成套设备毛利率比上年同期增减,减少1.47个百分点',
|
||
# '3,1,其他营业收入,54151874.93',
|
||
# '3,1,其他营业成本,44097195.98',
|
||
# '3,1,其他毛利率,18.57%',
|
||
# '3,1,其他营业收入比上年同期增减,39.68%',
|
||
# '3,1,其他营业成本比上年同期增减,36.10%',
|
||
# '3,1,其他毛利率比上年同期增减,增加2.14个百分点',
|
||
# '3,1,合计营业收入,1003535799.51',
|
||
# '3,1,合计营业成本,810779075.89',
|
||
# '3,2,东北地区营业收入,2425280.53',
|
||
# '3,2,东北地区营业成本,1427939.37',
|
||
# '3,2,东北地区毛利率,41.12%',
|
||
# '3,2,东北地区营业收入比上年同期增减,-69.51%',
|
||
# '3,2,东北地区营业成本比上年同期增减,-77.58%',
|
||
# '3,2,东北地区毛利率比上年同期增减,增加21.20个百分点',
|
||
# '3,2,华北地区营业收入,70542020.62',
|
||
# '3,2,华北地区营业成本,53044055.18',
|
||
# '3,2,华北地区毛利率,24.81%',
|
||
# '3,2,华北地区营业收入比上年同期增减,205.32%',
|
||
# '3,2,华北地区营业成本比上年同期增减,203.18%',
|
||
# '3,2,华北地区毛利率比上年同期增减,增加0.54个百分点',
|
||
# '3,2,华东地区营业收入,770352353.33',
|
||
# '3,2,华东地区营业成本,636803535.34',
|
||
# '3,2,华东地区毛利率,17.34%',
|
||
# '3,2,华东地区营业收入比上年同期增减,24.17%',
|
||
# '3,2,华东地区营业成本比上年同期增减,25.30%',
|
||
# '3,2,华东地区毛利率比上年同期增减,减少0.74个百分点',
|
||
# '3,2,华南地区营业收入,18509519.71',
|
||
# '3,2,华南地区营业成本,14496855.46',
|
||
# '3,2,华南地区毛利率,21.68%',
|
||
# '3,2,华南地区营业收入比上年同期增减,-57.08%',
|
||
# '3,2,华南地区营业成本比上年同期增减,-57.98%',
|
||
# '3,2,华南地区毛利率比上年同期增减,增加1.67个百分点',
|
||
# '3,2,华中地区营业收入,60588394.64',
|
||
# '3,2,华中地区营业成本,44559969.21',
|
||
# '3,2,华中地区毛利率,26.45%',
|
||
# '3,2,华中地区营业收入比上年同期增减,-51.24%',
|
||
# '3,2,华中地区营业成本比上年同期增减,-55.13%',
|
||
# '3,2,华中地区毛利率比上年同期增减,增加6.38个百分点',
|
||
# '3,2,西北地区营业收入,58618014.32',
|
||
# '3,2,西北地区营业成本,42844719.81',
|
||
# '3,2,西北地区毛利率,26.91%',
|
||
# '3,2,西北地区营业收入比上年同期增减,178.59%',
|
||
# '3,2,西北地区营业成本比上年同期增减,173.62%',
|
||
# '3,2,西北地区毛利率比上年同期增减,增加1.33个百分点',
|
||
# '3,2,西南地区营业收入,22500216.36',
|
||
# '3,2,西南地区营业成本,17602001.52',
|
||
# '3,2,西南地区毛利率,21.77%',
|
||
# '3,2,西南地区营业收入比上年同期增减,-23.74%',
|
||
# '3,2,西南地区营业成本比上年同期增减,-17.89%',
|
||
# '3,2,西南地区毛利率比上年同期增减,减少5.57个百分点',
|
||
# '3,2,合计营业收入,1003535799.51',
|
||
# '3,2,合计营业成本,810779075.89',
|
||
# '5,2,经营活动产生的现金流量净额2023年,-44713443.44',
|
||
# '5,2,经营活动产生的现金流量净额2022年,-53241071.45',
|
||
# '5,2,经营活动产生的现金流量净额变动比例,16.02%',
|
||
# '5,2,投资活动产生的现金流量净额2023年,-88649920.50',
|
||
# '5,2,投资活动产生的现金流量净额2022年,-94251741.15',
|
||
# '5,2,投资活动产生的现金流量净额变动比例,5.94%',
|
||
# '5,2,筹资活动产生的现金流量净额2023年,96607197.26',
|
||
# '5,2,筹资活动产生的现金流量净额2022年,210537586.22',
|
||
# '5,2,筹资活动产生的现金流量净额变动比例,-54.11%'
|
||
# ]
|
||
|
||
# client = MilvusClient(
|
||
# uri="http://localhost:19530"
|
||
# )
|
||
# vector_obj = embed_with_str('2023年营业收入')
|
||
# vector = vector_obj.output["embeddings"][0]["embedding"]
|
||
# data = [vector]
|
||
# res = client.search(
|
||
# collection_name="zzb_measure", # Replace with the actual name of your collection
|
||
# # Replace with your query vector
|
||
# data=data,
|
||
# limit=1, # Max. number of search results to return
|
||
# search_params={"metric_type": "COSINE", "params": {}}, # Search parameters
|
||
# output_fields=["measure_name","measure_value"]
|
||
# )
|
||
|
||
# # Convert the output to a formatted JSON string
|
||
# result = json.dumps(res, indent=4, ensure_ascii=False)
|
||
# print(result)
|
||
|
||
# insert_measure_data(client, measure_data)
|
||
# text = '营业收入第一季度（1-3月份）'
|
||
# new_text = re.sub(r'（[^)]*）', '',text)
|
||
# print(new_text)
|